MeetingToM：评估多模态大语言模型在多方会议中的心智理论推理能力

研究者提出MeetingToM基准，用于评估多模态大语言模型在多方会议中的心智理论推理能力，包括伪共识等会议特有现象。测试显示模型在整合非语言线索、推断隐藏态度和区分真假共识方面存在持续局限。

此前多模态心智理论基准主要基于视频问答，覆盖显性信号；MeetingToM首次系统评估模型在多方会议中理解伪共识等潜藏社会状态和群体动态的能力，揭示现有模型在关键社交推理任务上的短板。

心智理论推理要求模型从言语和行为线索中推断他人信念、意图和知识状态。MeetingToM通过分层评估（个体状态预测、双人对话理解、群体共识推理）检验模型在社交粒度递增下的表现，暴露多模态融合不足。

依赖多模态会议理解的AI产品（如自动会议纪要、智能助手）需重点提升对非语言线索和隐含社交状态的建模能力，否则在真实复杂会议场景中可能误判共识或遗漏异议。

• 开发针对伪共识检测的会议分析功能，帮助用户识别表面同意下的真实分歧
• 优化多模态会议模型的非语言线索融合模块，提升对眼神、表情和转身等行为信号的利用
• 在团队协作工具中增加隐性社交状态可视化面板，辅助决策者理解群体动态
• 为会议摘要系统引入心智理论推理层，使其能区分言语表态与真实意图

• MeetingToBen基准是否能准确反映实际部署场景中的社交推理复杂度？
• 现有模型在伪共识识别上的失败模式是否可通过数据增强或特定训练范式改善？
• 非语言线索的具体类型（如表情、手势、语调）中哪些对改变模型表现最有效？
• 该基准的评估结果是否适用于低资源语言或跨文化会议场景？