PAUSE：面向统一服务环境中个人 AI 助手的用户中心基准

arXiv 发布 PAUSE，一个面向个人 AI 助手在统一服务环境中的用户中心基准。该基准要求助手在持久用户状态、授权约束和多轮交互中跨服务协调，并用多机制评估框架测试。结果显示，最先进的专有模型在需要状态推理和配置的场景中任务完成率不足 70%。

此前基准多将服务上下文碎片化或忽略用户状态，无法反映真实服务场景。PAUSE 首次将持久用户状态、授权约束和长程交互纳入评估，使性能测试更贴近实际部署，揭示现有模型在复杂用户中心任务上的明显短板。

PAUSE 通过模拟真实用户交互，要求代理在多服务间保持环境状态和授权约束一致，区分开放型与约束型任务，并分别采用语义/轨迹度量与确定性验证。这促使评估从静态工具执行转向动态交互，反映实际部署中需要管理的复杂性。

该基准为产品团队提供更贴近现实的测试方法，有助于在产品早期识别状态管理与授权处理缺陷，从而减少线上故障风险。同时，其差异化评估机制可指导优化资源分配，避免在简单任务上过度投入。

• 采用 PAUSE 作为内部回归测试集，重点验证状态推理和授权约束逻辑。
• 针对 PAUSE 失败案例，优化多服务协调与用户配置处理能力。
• 基于基准结果，开发面向个人助手的可解释性诊断工具。
• 将 PAUSE 评估结果用于产品宣传，向客户展示在复杂任务上的可靠性提升。

• PAUSE 是否包含真实用户满意度指标，而不仅是任务完成率？
• 该基准是否覆盖多语言或文化差异下的用户模拟？
• 是否有公开基准结果，可供对比不同模型的详细表现？
• 基准的授权约束模拟是否包含动态权限变更场景？