MARS-RA：基于多模态比较的排序聚合实现具身多智能体合作中的信用分配

arXiv AI 发布论文 MARS-RA，该框架将多智能体强化学习中的信用分配问题重构为排序聚合问题，利用大型多模态模型生成智能体之间的成对比较，将绝对估计转为相对估计，以增强对噪声和动态智能体数量的鲁棒性。比较结果转化为贡献分数用于基于势能的奖励塑形，并提供收敛性与鲁棒性的理论证明。实验显示该方法能引导智能体有效合作。

在多智能体强化学习中，传统信用分配依赖绝对奖励估计，易受噪声和延迟反馈影响。MARS-RA 将评估方式改为比较排序，利用大型多模态模型生成对比，提高了鲁棒性，并支持动态智能体数量变化，这为具身 AI 协作提供了更可靠的方法。

MARS-RA 将信用分配视为排序聚合问题，代替直接估计每个智能体的绝对贡献。该方法通过大型多模态模型生成智能体间的成对比较，将比较结果转换为贡献分数，并用于基于势能的奖励塑形。相对估计比绝对估计更稳健，且能适应动态参与者。理论证明了其收敛性和鲁棒性，Shapley 值作为解释参考。

该框架若被采用，可提升多智能体系统在复杂动态环境中的协作效率，降低对精确奖励信号的需求。对于开发具身智能、机器人协作等产品的团队，可能减少奖励工程成本，但当前处于论文阶段，尚无实际产品落地证据。

• 将比较式信用分配应用于机器人多机协作任务，如仓储拣选或无人配送，以提升团队效率。
• 在需要动态调整参与者的多智能体产品（如游戏 NPC 或自动化车队）中，测试该方法的鲁棒性。
• 开发基于大型多模态模型的内部工具，辅助团队评估智能体贡献，优化奖励设计。

• 论文中实验的具体任务类型和与基线方法的对比细节尚不明确。
• 使用大型多模态模型生成比较的成本和延迟是否实用。
• 是否有外部团队复现或验证其理论保证。