看见还是知道？多模态大语言模型的视觉上下文敏感性研究

本论文研究多模态大语言模型（MLLMs）在视觉证据与预训练知识冲突时的表现，提出WhatIfVis基准，涵盖空间、颜色、计数等维度，发现模型在感知后利用视觉信息不稳定，监督微调可提升可控性，并能通过激活向量控制视觉与先验的权衡。

此前研究多关注MLLMs的感知能力，本文揭示失败可能源于感知后利用环节而非视觉编码，并证明通过微调和激活干预可控制视觉与先验的权衡，为提升视觉任务可靠性提供新方向。

粗粒度视觉信息可从最终层图像令牌重建，表明感知未受损；但模型对视觉上下文的敏感性不稳定，监督微调和激活修补能改善控制性，激活向量可沿特定方向调整视觉与语言先验的权衡。

对依赖视觉信息的AI产品（如图像问答、辅助驾驶）而言，模型可能基于先验而非图像作答，导致错误；研究者可借鉴SFT和激活编辑提升视觉遵从性，降低此类风险并增强可控性。

• 构建基于WhatIfVis的自动化测试集，评估自身MLLM产品的视觉上下文敏感性，识别先验偏差场景。
• 对视觉问答类产品应用监督微调以增强视觉指令遵循，提升用户信任。
• 探索激活编辑技术在产品中动态调节视觉与先验权重，适应不同任务需求。

• WhatIfVis基准是否覆盖真实产品场景的复杂视觉冲突？
• 监督微调在全域范围内提升可控性，其长期稳定性未知。
• 激活向量的控制是否适用于所有MLLMs架构？
• 该方法对中文等多语言环境的效果未验证。