Multi-agent cooperation through in-context co-player inference
文章核心内容与创新点总结
一、主要内容
该研究聚焦多智能体强化学习（MARL）中的核心挑战——实现自利智能体间的稳定合作，针对现有方法依赖硬编码假设或严格时间尺度分离的局限性，提出基于序列模型上下文学习的解决方案。
问题背景：去中心化MARL面临两大难题，一是均衡选择困境（多纳什均衡下易收敛至次优结果如 mutual defection），二是环境非平稳性（其他智能体同时学习导致环境动态变化）。现有合作诱导方法分为两类，均存在缺陷：一类需硬编码对手学习规则，另一类需分离“朴素学习者”（快速更新）与“元学习者”（慢速更新）。
核心假设与机制：训练序列模型智能体对抗多样化对手群体，可自然诱导上下文最优响应策略。该策略通过单轮次内的上下文学习实现目标导向适应，替代传统“朴素学习者”的参数更新，使智能体易受敲诈；而这种相互敲诈压力最终推动智能体学习合作行为，复刻了“敲诈脆弱性驱动相互塑造”的合作机制。
实验设计与结果：以迭代囚徒困境（IPD）为测试场景，采用混合池训练（50%对抗其他学习智能体，50%对抗表格智能体），对比两种算法：
- 独立A2C（标准去中心化无模型RL方法）
- 预测性策略改进（PPI，新提出的模型基算法，利用序列模型预测联合轨迹并自监督训练）
实验显示，混合池训练下两种算法均稳定收敛至合作；而无多样化对手或提供对手身份标识的对照组均收敛至背叛，验证了上下文推断的关键作用。