OSReward：为跨平台计算机使用奖励模型建立标准化评估

arXiv AI 发布了论文 OSReward，提出一个用于评估视觉语言模型（VLM）作为计算机使用代理（CUA）轨迹判断器的基准。该基准包含跨平台的真实轨迹和人工标注的真相标签，并衍生出 OSReward-Hard 和 OSReward-Multi 挑战集。评估发现，现有 VLM 判断器存在系统性宽容偏差，将失败误判为成功，且可靠模型成本过高。作者开源了 OS-Shepherd-100K 数据集，并训练了开源奖励模型 OS-Shepherd（9B 和 35B），以提供低成本、稳定的判断。

此前 CUA 评估依赖人工验证或 VLM 判断，但 VLM 判断器的可靠性未经系统检验。OSReward 首次提供标准化基准，揭示最先进 VLM 判断器存在系统性宽容偏差，可能影响 CUA 数据筛选和强化学习的效果。这一发现促使行业重新审视评估方法的可靠性，并推动低成本开源奖励模型的发展。

CUA 轨迹记录代理的动作、状态和推理，验证其是否完成任务对评估、数据整理和强化学习至关重要。人工无法规模化验证，因此改用 VLM 作为判断器。OSReward 通过构建高质量基准，用人工标注的真相标签评估 VLM 判断器的准确性和偏差。结果发现 VLM 存在宽容偏差，且可靠模型成本高。为弥补差距，作者构建了带推理标注的开放语料库，训练开源奖励模型，以平衡成本与可靠性。

对依赖 CUA 或奖励模型的产品，需要更换或校准判断器，避免因宽容偏差导致失败任务被误判为成功。采用开源奖励模型可降低大规模评估的成本，但可能需在准确性和稳定性上接受折中。研发团队应重新设计验证流程，结合人工抽查确保评估质量。

• 将 OS-Shepherd 奖励模型集成到 CUA 开发流水线中，用于低成本自动评估代理性能。
• 开发基于 OSReward 基准的评估服务，帮助团队快速检验自家 VLM 判断器的可靠性。
• 利用 OSReward-Multi 的细粒度评分，优化代理在效率和任务对齐方面的行为。
• 针对 OSReward-Hard 中的难例，设计针对性训练数据以提升代理的鲁棒性。

• OS-Shepherd 模型在实际产品中的性能与成本表现是否具有竞争力？
• OSReward 基准的覆盖面是否足够代表所有真实 CUA 场景？
• 如何有效纠正 VLM 判断器的宽容偏差？
• OS-Shepherd 是否能被社区复用并持续改进？