|
|||||
|
|
| 基于不确定度的多智能体信用分配方法 | |
| 作者姓名： | 杨光开 陈皓 张茗奕 尹奇跃 黄凯奇 |
| 作者单位： | 1. 中国科学院自动化研究所智能系统与工程研究中心;2. 中国科学院大学人工智能学院;3. 中国科学院脑科学与智能技术卓越创新中心 |
| 摘 要： | 近年来，部分可观测条件下多智能体协同受到广泛关注。中心化训练分布式执行作为处理这类任务的通用范式面临信用分配这一核心问题。值分解是该范式中的代表性方法，通过混合网络将联合状态动作值函数分解为多个局部观察动作值函数以实现信用分配，在很多问题中表现很好。然而这些方法维持对混合网络参数的单一点估计，因缺乏不确定度表示而难以有效应对环境中的随机因素导致只能收敛到次优策略。为缓解这一问题，对混合网络进行贝叶斯分析，提出一种基于不确定度的多智能体信用分配方法，通过显式地量化参数的不确定度来指导信用分配。考虑到智能体之间复杂的交互，利用贝叶斯超网络隐式地建模参数任意复杂的后验分布，以避免先验地指定分布类型而陷于局部最优解。在星际争霸微操环境中的多个地图上与代表性算法的性能进行对比与分析，验证了算法的有效性。 |
| 关 键 词： | 多智能体协同 深度强化学习 信用分配 贝叶斯超网络 |