教会模型停止操作，而非只教会点击

arXiv论文对35B计算机使用代理（CUA）进行验证器引导修复，发现单次运行结果不可靠：评估方差可忽略，训练种子效应小（≤10%），方差主要来自数据抽取（最困难场景占48%）和运行非确定性，运行分布呈双峰（单次有30%失败概率）。修复效果因修正类型而异：固定token安装可靠（完成检测0.97±0.06），空间坐标点击修复中等（0.53±0.35），生成字段填充较差（0.14±0.04）。任务成功转移仅当修复是唯一剩余阻碍时（LinkedIn任务8/20 vs 基线0/15）。作者通过跨种子复制发现自身过度声明（采样效率曲线和不可购买接地边界）。

此前计算机使用智能体评估多依赖单次运行报告，本文揭示单次结果方差大、分布双峰，导致均值±标准差失去意义。研究强调了跨种子和跨数据抽取复现的必要性，以及修复策略的约束程度对效果的关键影响，直接挑战现有评估与修复方法的可靠性。

通过方差分解，评估方差可忽略，种子效应小，但数据抽取和运行非确定性主导方差。最困难场景分布双峰（Hartigan dip p=0.07），单次运行有约30%概率落入失败模式。修复分为约束型（固定token，安装可靠）和开放型（坐标/生成，效果有限），且只有在修复动作是任务唯一剩余障碍时才能提升任务成功率。

开发基于CUA的产品（如自动化浏览器操作）时，单次测试结果不可信，需建立多种子、多数据抽取的评估流程。开放型修复（如坐标点击、字段填充）效果不稳定，应优先设计约束明确的纠正机制（如固定token的停止检测），否则修复可能导致错误累积。

• 构建基于固定token的停止检测模块，在智能体任务中实现高可靠中断能力（完成检测0.97）。
• 在产品测试流程中强制跨种子复现，并报告运行分布的双峰性指标，防止单次误导。
• 针对高风险自动化任务（如领英操作），设计分步约束性修复而非完全开放式，仅在修复为唯一阻碍时启用。
• 开发数据抽取方差量化工具，帮助团队识别失败模式概率，优化训练数据采样策略。

• 论文中“接地不可购买”边界的具体条件是什么？是否适用于其他领域？
• 修复后任务成功在LinkedIn之外的其他场景（如购物、表单填写）是否也具有类似转移特性？
• 不同模型规模下（如7B、70B）的方差分解结果是否一致？
• 如何通过算法或数据手段降低数据抽取方差在困难任务中的主导地位（48%）？