MMOOC：多模态大语言模型越界上下文评估的综合基准

MMOOC 是一个新发布的大规模基准测试，包含超过 4.1 万个图像-问题对，用于评估多模态大语言模型在上下文偏移下的拒绝与稳健回答能力。它涵盖可回答的偏移上下文问题和不可回答的越界上下文问题，覆盖多种问题格式、偏移类型和视觉场景。实验表明，现有模型在平衡回答与拒绝方面仍有不足，后训练可提升稳健性。

以往基准主要聚焦越界或视觉不可答问题，忽视了可回答的偏移上下文情况，且覆盖的偏移类型有限。MMOOC 填补了这一空白，首次系统评估模型在上下文偏移下的拒绝与回答平衡，为多模态模型鲁棒性研究提供了更全面的测试工具。

MMOOC 通过构建不同类型和程度的上下文偏移（8 种偏移类型、6 种视觉场景），要求模型区分真正越界（应拒绝）与可回答的偏移上下文（应回答）。实验发现模型难以权衡拒绝与回答，后训练能改善此平衡。这揭示了当前模型依赖上下文表面特征而非深层理解，导致在偏移情境下判断力下降。

对于开发多模态应用的产品团队，MMOOC 可作为模型鲁棒性的评估工具，帮助发现模型在上下文偏移下的失败模式。基于其失败分析，后训练方法可针对性提升模型稳健性，从而减少产品在实际使用中的错误拒绝或误导性回答，改善用户体验。

• 在模型选型阶段，使用 MMOOC 对比不同多模态模型的鲁棒性，优先选择平衡性好的模型。
• 根据 MMOOC 失败模式，引入后训练策略优化模型，提升对偏移上下文的适应能力。
• 将 MMOOC 评估集成到 CI/CD 流程，持续监控模型更新后的鲁棒性变化。
• 针对特定业务场景，基于 MMOOC 构建定制化评估集，确保模型在相关偏移下表现稳定。

• MMOOC 是否公开可用，以及具体下载和使用方式尚未在证据中确认。
• MMOOC 所评估的模型具体类型和规模（如参数数量）未在证据中列出。
• 后训练提升稳健性的具体方法和技术细节在证据中未说明。
• MMOOC 基准与现有评估工具相比，在实践中的应用效果和优势有待进一步验证。