超越最终准确率：审计 LLM 多智能体系统中的通信

论文提出 Independent-Communicate-Revise（ICR）框架，把多智能体通信评估为独立推理后的答案修订。ICR 固定初始推理轨迹，按两个智能体初始正确性分别测量纠正与保留，并用无消息修订作为对照。在四个推理基准上审计文本与隐式通信发现，相近的总体准确率可能掩盖差异较大的修订行为。

过去评估多智能体通信多依赖最终准确率，容易把有效通信、智能体架构优势与额外推理混为一谈。该工作把通信效果拆成纠正与保留两类行为，并用无消息对照量化额外推理的贡献，使评估从单一结果转向可分解的过程指标。

最终准确率会把被纠正的错误与被破坏的答案合并为同一结果，因此无法判断通信究竟改变了哪些决策。ICR 先固定各智能体的独立推理轨迹，再引入通信与修订，并设置无消息修订对照组，从而在控制初始正确性的条件下，把通信带来的收益与单纯多推理一轮的收益区分开。

对构建多智能体产品的团队，评估指标不能只看最终准确率，需按初始正确性分层统计纠正率与保留率，并加入无消息修订基线。否则容易把额外推理或架构优势误判为通信收益，导致错误的通信策略与成本投入。

• 在多智能体评测中加入 ICR 式分层指标：按双方初始正确性分别统计纠正率与保留率。
• 为通信策略建立无消息修订对照组，用于区分通信收益与单纯增加推理轮次的收益。
• 针对结构化验证策略做 A/B 测试，观察不同通信通道的保留率与纠正率变化。

• ICR 框架在四个基准之外的任务上是否同样能区分通信与额外推理的贡献？
• 结构化验证策略对选择性影响在不同通道和任务间不一致的原因是什么？
• 更丰富的消息在提升纠正的同时降低保留，如何权衡对最终用户体验的影响？