VDiff-Bench：细粒度图像差异识别的挑战性基准

研究团队提出 VDiff-Bench，一个面向细粒度图像差异识别的四选一基准，包含 1756 道题，覆盖位置、运动、区域颜色、整体颜色、出现/消失、噪声/分辨率、纹理、替换/尺寸、OCR/文字、光照 10 类变化。每题的干扰项需区分真实变化与相近语义描述，并含有“无差异”选项。测试 11 个开源与闭源 MLLM 显示，模型在语义变化上表现尚可，但在噪声、纹理等低层变化上明显失效，个别模型甚至误判为无变化。

以往多模态评测多聚焦视觉问答等通用理解能力，较少系统检验“对比两张相似图”这一基础能力。该基准用受控负样本和“无差异”干扰项把评测压力集中到细微变化上，暴露出当前模型在低层视觉差异上的稳定缺口，为后续评测与模型改进提供了可复现的对照标准。

该基准通过图像对加四选一的强制判别形式，将真实差异、两条相近语义干扰项和“无差异”选项并列，使模型无法依赖语言先验或粗略语义匹配作答，必须真正比较两图。按变化类别拆分统计，可以把语义级变化与噪声、纹理等像素级变化的表现分开衡量，从而定位失败集中在哪一层视觉信息。

对做图像审核、内容比对、商品图校验或设计稿核对的产品，这一结果提示不能直接依赖通用 MLLM 判断两图是否一致，尤其是压缩噪声、纹理和分辨率差异场景。研发需为低层变化单独设计检测模块或加入针对性训练数据，并在上线前按变化类别分层评测，而不是只报告整体准确率。

• 在图片审核、商品图比对等流程中，先接入专用低层差异检测，再把语义判断交给 MLLM，按变化类别分工。
• 用 VDiff-Bench 的 10 类变化设计内部回归测试集，作为图像相关功能上线前的分层验收指标。
• 针对噪声、纹理、分辨率等失败集中的类别，收集或合成对应训练样本，做小规模微调后再评估收益。

• VDiff-Bench 的构建流程、标注一致性和数据来源尚未在证据中说明。
• 11 个被测模型的具体名单和各自分数分布未完整给出。
• Grok 4.3 在噪声与纹理上的具体下降幅度和对比基线未知。
• 目前没有证据显示针对性训练或加装模块能否显著改善低层变化识别。