τ^τ-Bench：面向端到端真实智能体构建的评测环境

研究团队推出τ^τ-Bench基准测试，用于评估编码智能体在真实客户条件下构建客服智能体的能力。测试中，最强配置Claude Opus 5配合Claude Code仅通过23.9%的模拟，而专家编写的参考方案达到82.2%，暴露了智能体在理解记录、客户沟通和架构实验上的不足。

现有基准多关注智能体本身的表现，τ^τ-Bench首次将智能体的构建工作设为评测任务，模拟真实客户项目，衡量AI系统能否交付完整客服方案。其低通过率表明当前编码智能体距离真实业务部署差距明显，为开发者提供了更贴近实际的评测标准。

τ^τ-Bench通过提供业务记录、客户需求、生产API、继承代码库及服务成本限制，还原真实开发起点。开发者智能体需交付完整客服智能体，并在模拟用户上打分。失败模式显示智能体倾向浅层查询、缺乏客户沟通、实验不足。

该基准为智能体开发工具提供了新的能力风向标，产品团队可参照其任务设计来检验编码助手在复杂集成场景下的表现。当前低通过率提示现有模型在端到端交付上不可靠，需加强需求理解和架构探索能力，以避免生产环境返工。

• 开发针对τ^τ-Bench的调试工具，帮助识别智能体失败原因并优化工作流。
• 设计包含客户沟通和需求澄清的训练数据，提升模型协作能力。
• 推出面向真实项目的智能体构建服务，以基准通过率作为质量承诺。

• τ^τ-Bench任务是否覆盖多行业复杂需求？
• 专家参考方案是否可复现？
• 基准是否长期更新以跟踪提升？
• 未来模型改进能否显著提高通过率并保持成本可控？