C^3^PO：评估全模态模型的跨模态组合与反事实表现

研究者提出C^3^PO基准，含3404个跨视频、音频、图像和文本的样本，用于评估多模态大模型的信息组合与反事实冲突处理能力。人类准确率88.64%，最佳模型Gemini-3.1-Pro仅73.17%，开源模型在冲突下表现更差。注意力探测显示86%-95%的失败源于模态主导，模型过度依赖文本。

现有MLLM虽能处理多种输入，但推理仍偏向单一主导模态，导致跨模态推理脆弱。C^3^PO首次通过配对结构和分层设计系统诊断此类失败，揭示模态主导是主要瓶颈，而非组合能力不足，为模型改进提供明确方向。

C^3^PO利用25个逻辑模板自动生成样本，通过信息组合和反事实冲突任务，衡量模型融合分散证据和解决矛盾的能力。注意力探测表明，模型将87%-95%注意力集中于文本，忽略其他模态的冲突证据，中层的注意力熵可预测正确性，持续的跨模态注意力探索是成功关键。

对多模态产品研发有直接影响：模型需在架构上支持持续的跨模态注意力，而非简单拼接编码器。测试和评估流程应引入反事实冲突样本，以暴露模态主导问题。开源模型在冲突场景下性能崩塌，可能影响其在实际应用中的可靠性。

• 开发注意力机制优化模块，通过正则化或对比学习抑制模态主导，提升模型在冲突场景下的鲁棒性。
• 将C^3^PO基准纳入模型评估流程，作为发布前的标准测试，尤其是在安全敏感的多模态应用中。
• 针对开源模型，提供微调策略和训练数据，重点改善反事实冲突处理能力，缩小与商业模型的差距。
• 构建基于C^3^PO诊断的工具包，帮助开发者定位模型在跨模态推理中的具体失败环节。

• C^3^PO基准是否覆盖所有关键跨模态场景，其自动生成模板是否存在偏差？
• 模型在反事实冲突上的失败是否可通过简单的数据增强或推理策略调整解决？
• Gemini-3.1-Pro的表现是否代表当前商业模型的最佳水平，其他模型是否有更高潜力？
• 注意力熵作为预测指标，在非英语或其他语种输入下是否依然有效？