OrchBench：通过确定性模拟隔离评估多智能体编排计划

OrchBench 是一个通过确定性模拟隔离评估多智能体编排计划的基准。它利用有向无环图（DAG）编码任务依赖，使用模拟器在不调用真实智能体的情况下评估计划质量、耗时和代币成本。实验表明，其模拟分数与 Claude Code 实际执行的质量分数高度相关（Pearson r=0.816），而仅需 1.3% 的代币和 10.3% 的时间。研究还发现，保留任务关键信息比单纯增加智能体数量更重要，并行性收益会因协调失败累积而下降。

此前多智能体系统评估依赖端到端真实执行，成本高、噪声大；OrchBench 实现了隔离的模拟评估，大幅降低时间和代币成本，且结果与真实执行高度相关，使快速迭代编排策略成为可能。

OrchBench 从真实任务构造 DAG 来表示子任务依赖，并设定智能体上下文限制和预算。编排规划器将子任务分配给智能体并指定信息传递与保留比例，确定性模拟器据此模拟执行，输出可解释的质量、用时和成本指标。由于不调用实际工人智能体，消除了工具可靠性、环境噪声等混淆因素。

对于多智能体系统开发团队，OrchBench 使得在开发阶段即可低成本、高效率地测试和优化编排计划，无需每次迭代都进行完整执行。这能缩短开发周期，降低 token 和计算资源消耗，但需注意模拟结果可能与实际执行存在偏差。

• 可基于 OrchBench 构建编排策略自动搜索工具，产出高质量编排方案。
• 开发编排计划仪表盘，可视化模拟质量、用时和成本，辅助决策。
• 在 CI/CD 流程中加入模拟评估，自动检测编排退化。
• 利用其发现（信息保留比增员更重要）设计新的编排策略。

• 模拟分数与真实执行的相关性在其他模型（非 Claude Code）上是否仍然成立？
• OrchBench 的 DAG 构造是否覆盖所有现实任务复杂性？
• 模拟中未考虑智能体间通信延迟，对真实应用影响多大？
• 是否需要在不同领域任务上进一步校准模拟参数？