一项针对主动观察能力的测试

Hugging Face Daily Papers 介绍了 ActiveVision 基准测试，用于评估多模态大语言模型（MLLM）的主动视觉观察能力。该测试包含 17 个任务，要求模型进行重复视觉感知而非单次描述。结果显示，表现最好的 GPT-5.5 仅解决了 10.6% 的题目，Claude Fable 5 解决了 3.5%，而三位人类参与者的平均正确率为 96.1%。这表明当前 MLLM 缺乏鲁棒的主动视觉观察。

此前视觉语言基准不衡量主动观察，而 ActiveVision 指出当前最先进 MLLM 在此维度基本失效（最高 10.6%），揭示了模型在感知-推理闭环上的根本缺陷，将推动研究方向转向闭环架构。

人类视觉是闭环过程，视线由中间假设持续重定向。ActiveVision 设计任务强制模型重复感知，而模型即使在自我编写视觉代码时，因真实图像不可靠且自身缺乏主动发现错误的能力，仍表现不佳。

依赖 MLLM 进行动态视觉交互的产品（如机器人导航、自动视频分析、实时监控）目前不可靠；现有 API 调用方案在需要主动观察的场景中可能输出低质结果，需重新评估产品设计。

• 研发可主动重定向视觉注意力的模型架构（如结合强化学习的循环注意力模块）。
• 构建混合系统：传统计算机视觉算法负责主动采样与稳定检测，MLLM 负责高层语义推理。
• 在需要高可靠视觉感知的产品（如医疗影像分析、工业质检）中暂不引入纯 MLLM，保留传统方法。

• 该基准测试是否覆盖了足够多样的现实场景？
• 模型能否通过特定训练策略（如模仿人类眼动数据）提升主动观察得分？
• 人类参与者是否为视觉专家？其对模型的实际参照价值如何？