MM-IssueLoc：一个用于评估多模态仓库级问题定位中视觉证据的受控基准

研究人员推出了 MM-IssueLoc，一个包含 652 个 issue-PR 实例、涵盖 23 种语言的多模态仓库级问题定位基准。它标注了 7 类图像和 4 级相关性，并用文本与图像对照方式评估系统。评估表明，最强代理在文件级 Top-5 准确率仅为 38.96%，函数级 Top-10 为 22.45%；最强的检索器函数级 Top-10 为 33.86%。现有系统远未达到可靠的多模态定位，且文本主导基准的高分无法迁移到多模态场景。

此前仓库级问题定位主要作为纯文本任务评估，即使有多模态基准也将定位与补丁生成混合，无法独立衡量视觉证据的作用。MM-IssueLoc 将视觉证据设为显式评估变量，首次提供了可控的文本-图像对比实验，能直接检验系统是否真正利用了视觉信息，而非仅依赖文本线索或下游修复效果。

它通过配对文本和图像版本、定义 7 类图像（如截图、错误对话框、UI 状态）和 4 级相关性，并引入 VCE 诊断将图像转换为结构化文本证据，实现了视觉维度上的受控对比。这样，同一问题可以分别测试“有图”和“无图”下的定位性能，从而分离视觉输入贡献。

AI 辅助编程或问题修复工具若依赖纯文本定位，可能在面对含截图或日志的 issue 时失效。开发团队需重新评估其多模态能力：要么提升视觉理解（如解析截图），要么利用 VCE 等结构化替代方案。基准的低分也意味着当前技术尚未成熟，产品落地前应避免在关键流程中承诺高准确性。

• 构建能直接解析 issue 附带的截图、错误对话框并定位到文件中对应函数或文件的模块
• 参考 VCE 诊断方法，将常见视觉证据（如 UI 渲染状态）自动转化为结构化文本，提升现有纯文本检索器的多模态表现
• 在支持 AI 调试的产品中增加“是否利用了视觉证据”的评估指标，帮助用户理解系统能力的边界

• MM-IssueLoc 的 652 个实例是否充分覆盖了真实开源项目中的视觉证据多样性？
• 现有系统表现不佳，主要瓶颈在于视觉理解能力不足，还是定位架构本身缺乏融合多模态的机制？
• 将视觉证据转化为结构化文本的 VCE 方法是否在所有场景下都优于直接使用图像特征？
• 基准中的 gold labels 是否完全反映了实际开发者定位问题时的真实过程？