分布式深度强化学习：综述与多玩家多智能体学习工具箱
分布式深度强化学习：综述与多玩家多智能体学习工具箱
随着AlphaGo的突破，深度强化学习已成为解决序列决策问题的一项公认技术。尽管深度强化学习声名远扬，由于其试错学习机制存在样本低效率问题，这项技术难以得到广泛应用。目前已经开发了许多用于高样本效率的深度强化学习方法，例如通过环境建模、经验迁移和分布式学习等。其中，分布式深度强化学习在诸多领域中展现出了巨大的潜力，如人机博弈和智能交通等。中国科学院自动化研究所黄凯奇研究员团队总结了这一领域的发展现状，比较了经典的分布式深度强化学习方法并梳理了实现高效分布式学习的重要组成部分，包括从单玩家单智能体分布式深度强化学习到最复杂的多玩家多智能体分布式深度强化学习。此外，文章还回顾了近期发布的工具箱，这些工具箱可以帮助实现分布式深度强化学习，而不需要对它们的非分布式版本进行太多修改。通过分析其优势与劣势，团队开发并发布了一个多玩家多智能体分布式深度强化学习工具箱，并在Wargame这一拥有复杂环境的游戏中进行了验证，证明了该工具箱在复杂游戏环境中的多玩家多智能体分布式深度强化学习能力。最后，文章尝试指出其面临的挑战及未来发展趋势，希望本文的简要综述能够为对分布式深度强化学习感兴趣的研究人员提供指导或启发。相关成果已发表于《机器智能研究(英文)》2024年第3期中。
AlphaGo是一个在人机对战中击败了许多职业围棋选手的智能体，伴随着这一领域的重大突破，深度强化学习(DRL)引起了大多数研究人员的关注，并成为解决序列决策问题的一项公认技术。人们已经开发出多种算法来解决DRL与实际应用之间的种种问题，例如探索与利用困境、低样本效率，以及多智能体之间的合作与竞争。在所有这些问题中，低样本效率是最受诟病的，这源于DRL的试错学习机制，导致需要大量的交互数据完成学习。
为了缓解低样本效率问题，学界在若干研究方向上进行了大量的探索。例如，基于模型的深度强化学习可以构建环境模型来生成假想轨迹，以帮助减少与环境的实际交互次数。迁移强化学习从源任务中挖掘共享的技能、角色或模式，然后利用获取的知识为目标任务中的强化学习进行加速。近年来，分布式机器学习技术在计算机视觉和自然语言处理领域获得了广泛的应用，分布式深度强化学习(DDRL)以此为基础获得了较多的发展，并展现了能够训练出非常成功的智能体的潜力，例如Suphx、OpenAI Five和AlphaStar。
一般来说，训练DRL智能体包括两个主要部分，即拉取策略网络参数与环境进行交互以生成数据，以及通过消耗数据来更新策略网络参数。这种结构化模式使得分布式实现DRL成为可能，且已涌现出了许多DDRL算法。例如，通用强化学习架构，可能首个提出的DDRL架构，它将训练系统分为四个组成部分，即参数服务器，参数学习器，执行器和回放缓冲区，该方法启发了更多成功的数据高效分布式深度强化学习架构的发展。学界最近提出的SEEDRL，作为IMPALA的改进版本，据称它能够每秒产生和消耗百万帧数据，在此基础上，AlphaStar通过44天(192个v3 TPU + 12个128核心TPU, 1800个CPU)的训练，成功击败了专业的人类玩家。
为了使分布式修改DRL能够使用多台机器开展训练，研究人员需要解决机器通信和分布式存储等工程问题。幸运的是，已经有多个工具箱被开发并发布出来，得益于此，将DRL代码修改为分布式版本通常只需作出少量的代码修改，这在很大程度上促进了DDRL的发展。例如，Uber发布的Horovod就充分利用了全局规约(ring allreduce)技术，与单GPU版本相比，只需增加几行代码，便可方便地使用多个GPU为训练进行加速。Ray是UC Berkeley RISELab发布的分布机器学习框架，并为DDRL提供了RLlib，通过强化学习抽象与算法库提供高效的DDRL训练。
鉴于DDRL的巨大进步，有必要对DDRL技术的发展历程进行梳理，总结其面临的挑战和机遇，为未来的研究提供线索。最近，Samsami和Alimadad对DDRL进行了简要回顾，但他们的目标是构建单智能体分布式强化学习框架，而缺乏对更具挑战性的多玩家多智能体DDRL的研究。Czech也对分布式强化学习方法作出了简要综述，但只介绍了几种经典算法，而缺乏对关键技术、技术之间的对比和所存在问题的探讨。与以往的综述不同，本文旨在提供一个更全面的综述。希望通过研究实现高效分布式学习的重要组成部分，来提供一种新的分类方法。本文将对比单玩家单智能体DDRL到最复杂的多玩家多智能体DDRL的经典分布式深度强化学习方法，希望能通过这种对比研究为初学者提供指引，并总结未来研究中可能遇到的挑战和机遇。
本文的其余部分组织如下。第2节简要介绍了DRL的背景、分布式学习和典型的DDRL测试平台。第3节介绍基于DRL训练框架和参与的玩家和代理数量为依据凝练的DDRL的分类体系。第4节比较了当前的DDRL工具箱，这些工具箱有助于实现高效的DDRL。第5节介绍了一个新的多玩家多智能体DDRL工具箱，该工具箱为复杂博弈提供了一个有用的工具。第6节总结了DDRL面临的主要挑战和机遇，希望对未来的研究有所启发。最后，在第7部分对本文进行总结。