aixiv专栏是本站发布学术、技术内容的栏目。过去数年，本站aixiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

近日，由北京大学人工智能研究院杨耀东课题组牵头完成的研究成果 ——「大规模多智能体系统的高效强化学习」在人工智能顶级学术期刊 Nature Machine Intelligence 上发表。

论文第一作者是北京大学人工智能研究院博士生马成栋，通讯作者为人工智能研究院杨耀东助理教授。人工智能研究院多智能体中心李阿明研究员和伦敦国王大学杜雅丽教授为共同第一作者。这一成果首次在大规模多智能体系统中实现了高效的去中心化协同训练和决策，显著提升了人工智能决策模型在大规模多智能体系统中的扩展性和适用性。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文链接：https://www.nature.com/articles/s42256-024-00879-7

在大规模多智能体系统中实现高效的可扩展决策是人工智能领域发展的重要目标之一。多智能系统主要以庞大的智能体交互数据为基础，利用大量计算资源驱动每个智能体学习如何与其他智能体合作执行复杂任务，其核心范式是多智能体强化学习。近年来，这一领域取得了显著的进展，诞生了以游戏人工智能为代表的一系列应用。现阶段两种主要的学习范式是中心化学习和独立学习，中心化学习要求每个智能体都具有全局观察能力，这大幅度增加了算法复杂性和通信成本，降低了在大规模系统中的可扩展性，而独立学习虽然降低了系统和算法的复杂性，但学习过程往往不稳定，导致决策性能较差。

值得注意的是，在游戏以外的更加真实的场景中，都存在一些客观的交互限制和不得不考虑成本因素，这使得现有方法难以扩展到大规模真实世界多智能体系统中。一个简单的例子是，当在城市交通系统中控制交通信号灯时，频繁的大规模通信操作容易增加功率损失和被信号干扰的概率，并且计算复杂性将随着交通灯数量的增多而指数级增加。因此，有必要设计能够在有限数据和客观通信约束下，将决策能力扩展到包含大量智能体的复杂真实系统中的多智能体强化学习方法。

这项研究正是以此出发点，降低了现有多智能体学习方法对于全局通信和大量交互数据的依赖性，实现了强化学习算法在复杂的大规模系统中的广泛部署与高效扩展，朝着可扩展到大规模系统的决策范式迈出了重要一步。

                                    ^{图 1，中心化学习和独立学习的区别及该研究的出发点和所涉及到的网络化系统类型}

在这项研究中，研究团队对大规模多智能体系统进行了以智能体为单位的动力学特性的解耦，将智能体之间的关系描述为一种拓扑连接结构下的网络化关系，其中包括线状，环状，网状等各种同构 / 异构节点，降低了系统处理的复杂性。在此之前，也有一些研究者以网络化的形式建模智能体之间的关系从而提升算法扩展性。但这种对于系统的分解具有较强的假设，不一定符合真实世界系统的特性。因此团队进一步提出了一种更通用的网络化系统模型用来刻画解耦后多智能体系统的动力学和真实系统动力学之间的关系，其优势在于它能够处理更广泛的合作多智能体任务。该概念弥合了标准网络系统和一般多代理系统之间的差距，为去中心化多智能体系统的研究提供了必要的理论框架和分析工具。

进一步，基于这种更一般化的网络系统，研究团队将单智能体学习中的模型学习理论扩展到多智能体系统中，使智能体能够独立学习局部状态转移、邻域信息价值和去中心化策略，将复杂的大规模决策难题转化为更容易求解的优化问题。这样，大型人工智能系统即使在样本数据和信息交互受限的情况下，也能实现令人满意的决策性能。早在上世纪 90 年代，强化学习教父 Richard Sutton 就提出了基于模型的方法来学习系统内在的动态特性来辅助策略学习，提升样本效率。在这项工作中，研究团队将本地化模型学习与去中心化策略优化相耦合，提出了一个基于模型的去中心化策略优化方法。该方法是高效且可扩展的，在较小的本地信息大小（当单个智能体与其他智能体之间的信息交互受到限制）下就能近似单调的提升智能体策略。具体而言，智能体能够使用经过充分训练得到的本地化模型来预测未来状态，并使用本地通信来传递该预测。

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

                                         ^{图 2，网络系统结构关系及多智能体模型学习过程}

为了缓解模型预测的误差问题，研究团队采用了分支推出策略，用许多短时间线推出替换了少数长时间线推出，以减少模型学习和预测中的复合误差，促进了策略学习过程中的近似单调提升能力：

研究团队从理论上进一步证明了系统解耦后所产生的扩展值函数和策略梯度是接近真实梯度的近似值，这在去中心化模型学习和单调策略提升之间建立了重要的理论桥梁。

多项测试结果表明，该方法能够扩展到具有数百个智能体的大规模电网和交通等网络化系统中，在较低的通信成本下实现较高的决策性能。

                                           ^{图 3，研究方法在智能交通控制场景中的效果}

使用了该方法控制的信号灯能够仅通过接收相邻路口的车流信息调控复杂的交通流。这是因为在网络化结构的设计下，整体交通状况已经通过城市路网间接地传递并汇总到相邻路口，通过分析这些相邻路口的观测信息，就能推断和预测整个城市的车流变化，从而做出最优决策。在智能电网上的效果也验证了方法的可扩展性，能够在具有上百个节点的电力网络中实现较低的电能损耗。

                                           ^{图 4，研究方法在智能电网控制场景中的效果}

研究团队负责人杨耀东表示：「未来我们将继续深入推进多智能体学习理论与方法的研究，并赋能具身智能和世界模型等前沿人工智能领域，显著提升更广泛的智能系统在协作、预测和决策方面的能力，使其在复杂动态环境中更加灵活高效的执行任务。同时，我们还将推动这些研究成果在智能交通、智慧电网等领域的应用，促进科技成果的快速转化，为社会创造更大价值。」

以上就是北大领衔，多智能体强化学习研究登上Nature子刊的详细内容，更多请关注其它相关文章！

# 较低  # 长尾关键词排名的技巧  # 苏宁网站推广策划书  # 南通营销推广客服人员  # 临沂高效网站建设  # 南京网站seo优化网站  # 荣昌区可靠网站建设  # 安顺网站建设建站定制  # 临沂网站建设推广推荐  # 科技网络营销推广方案Ppt  # 河北专业的网站建设价格  # 新能源  # 工程  # 日韩  # 就能  # 降低了  # 北京大学  # 这一  # 提出了  # 扩展到  # 北大  # type  # nature  # 多智能体强化学习 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 热水器没热水显示power是什么意思  typescript怎么加号  如何利用固态硬盘  j*a怎么读取char数组  锤子手机怎么不出5g  夸克是什么空间单位  爱奇艺视频怎么下载到手机u盘怎么转换格式方法  typescript与es6学哪个  汽车中控导航机power线是什么意思  春运抢票可以抢几次啊  固态硬盘如何启动  对象数组怎么用j*a  春运抢票如何抢连坐的票  萝卜快跑的收费标准是什么  怎么看手机是不是双模5g手机  wps中datediff函数怎么用 WPS中DATEDIFF函数的语法和用法分享  如何在命令行执行存储过程  如何将系统移到固态硬盘  如何通过命令行聊天  如何用命令查看本机的操作系统  linux环境中如何使用ping命令  通配符的用法  夸克绑定设备是什么意思  为什么ai老是说链接面板中缺少某些文件  什么软件能下载夸克视频  估值水平比较中市盈率E是什么意思  怎么在typescript写原型链  typescript解决了什么  固态硬盘如何装入机箱  征信信用不好如何恢复 征信信用不好如何恢复指南  双十一的哪一天最优惠呢  unix时间戳转换公式  手机的nfc是什么功能是什么意思  url解码什么意思  夸克的答案为什么不对  如何弄坏固态硬盘  如何打开管理员命令提示符  typescript在浏览器里怎么用  苹果16主打颜色有哪些  如何修改域名解析  如何体验苹果16系统  bugly是什么  闪光灯power闪烁是什么意思  夸克高考为什么不靠谱  推特是什么软件国内可以使用吗  破太岁是什么意思  什么是base64  自己如何安装固态硬盘  grub命令如何进dos  苹果16适合哪些机升级