M³R-Bench：用于证据驱动多模态隐喻理解的统一基准

arXiv AI 发布论文提出 M$^3$R-Bench，一个统一的证据驱动多模态隐喻理解基准，包含 1000 个图像-文本实例和人工验证标注。该基准依据概念隐喻理论，联合标注隐喻、目标-源映射、情感及分阶段解释。评测发现现有模型常忽略视觉证据，过度依赖表面文本线索，导致跨模态映射不准确。作者提出 M$^3$R-Reasoner，结合课程式推理监督和任务感知强化学习，以 8B 参数骨干在多项统一任务指标上超过大型专有多模态模型。

此前隐喻理解基准多依赖孤立子任务，缺乏证据支持的解释，难以评估模型是否真正基于视觉和文本线索建立映射。M$^3$R-Bench 首次提供统一的、含人验证标注的多模态隐喻数据集，并揭露现有模型跨模态证据与映射不匹配的问题，推动多模态推理研究更加重视视觉证据。

隐喻理解需要跨域映射和情感推断。M$^3$R-Bench 基于概念隐喻理论，将隐喻理解分解为证据识别、映射建立、情感推断三个阶段，并提供联合标注。M$^3$R-Reasoner 采用课程式推理监督逐步训练模型，再通过任务感知强化学习对齐推理过程，从而提升模型对视觉证据的关注和映射准确性，以较小参数量获得更优性能。

对于多模态 AI 产品（如视觉问答、图像描述），该基准可帮助开发者评估和改进模型对隐含隐喻的识别能力。现有模型在视觉证据利用上的不足提示需优化训练数据配比和推理机制。M$^3$R-Reasoner 的方法或可移植到产品中，以较小模型实现更高推理质量，降低计算成本。

• 利用 M$^3$R-Bench 数据集对现有图像理解模型进行评测，识别其视觉证据盲区，针对性地补充训练数据。
• 借鉴 M$^3$R-Reasoner 的课程式监督和强化学习思路，优化自有模型的隐喻推理能力，提升多模态产品体验。
• 开发面向创意内容生成的产品功能，基于隐喻映射增强文案或图像生成的表达力，例如自动生成隐喻性标题。

• M$^3$R-Bench 是否覆盖多语言及更多文化背景的隐喻？
• M$^3$R-Reasoner 在更大参数模型上的表现是否仍具优势？
• 该基准是否被用于实际产品？效果未验证。