WebFovea：模型判断对但点击错——面向真实网站的视觉网页 agent 可靠往返

该论文提出 WebFovea，一个基于视觉的网页 agent，在 WebRetriever Challenge 2026 的 Protocol III 上以 57.0 分（满分 100）获第二名。作者指出，仅有强大多模态大模型并不足够，模型决策需经 harness 传导到浏览器，四个环节——动作解析、页面生效、结果回传、信息回显——均可能出错。实测中坐标空间错配使每次点击落在预期坐标的 3/4 处，原生下拉框、iframe 内和文本框操作静默失败，自生成 chat-template token 污染了 4.9% 的任务回合。

此前网页 agent 的评测多聚焦模型推理能力，而该工作把评测拉到真实网站的端到端闭环，并证明同一模型下仅改进 harness 就能把官方隐藏集分数从 31.0 提升到 57.0，说明瓶颈常不在模型而在模型与页面之间的工程层。

模型输出需经过解析、执行、回报、回显四阶段才能作用于页面，任一阶段出错都会让正确决策无法落地。坐标空间错配、iframe 与原生控件兼容、chat-template 特殊 token 污染，都是这一链路上的具体故障点；WebFovea 针对每个阶段加固并加入预算与规则护栏。

对做网页自动化、RPA 或浏览器 agent 的产品，说明仅换更强模型收益有限，需要投入解析、控件兼容、坐标映射和回传校验等 harness 工程；否则会出现模型正确但操作失败且难以定位的静默错误。

• 为网页 agent 建立四阶段失败归因日志，分别记录解析、执行、回传、回显错误率
• 针对 iframe、原生下拉框与文本框做控件级动作适配层
• 检测并过滤会污染任务回合的自生成 chat-template 特殊 token
• 在评测与上线流程中加入同一模型、仅改 harness 的 A/B 对照以隔离工程收益

• WebRetriever Challenge 2026 与 Protocol III 的官方规则和评分细节未在证据中说明
• 31.0 到 57.0 的提升中，run-to-run 方差具体占多大比例未被量化
• 四项提交是否使用完全相同的模型配置，证据仅称使用同一模型
• 四阶段框架在其他基准或非网页环境中的可迁移性尚未验证