多智能体 LLM 系统推理时并行的双层视角研究

arXiv AI 发布论文，提出 TIPEX 框架，统一控制多智能体 LLM 系统中的副本并行（探索多个完整方案）和结构并行（单方案内任务分解并发）。在 GAIA 基准上实验表明，推理时并行可显著提升准确率、降低端到端延迟，但代价是 token 消耗增加。两种并行在不同任务复杂度上互补，中等难度任务受益最大，过度并行策略效果不佳。

此前多智能体系统的并行研究多聚焦单一层次，缺乏对副本并行和结构并行的统一组织与协调。TIPEX 首次提出可控执行框架，系统验证两种并行的互补效果及与任务复杂度的关系，为优化多智能体推理效率提供了可操作的参考，可能影响后续系统设计范式。

推理时并行分为任务级的副本并行和路径内的结构并行。副本并行通过多种完整方案增加正确概率，结构并行通过任务分解减少延迟。TIPEX 统一执行语义，允许组合不同策略和参数。实验显示，中等难度任务中两种并行互补效应最强，因简单任务无需并行，复杂任务并行资源可能分散，而中等任务并行可平衡探索效率。

对依赖多智能体 LLM 的产品，采用 TIPEX 可降低响应延迟并提升准确率，但需权衡 token 成本。建议根据任务复杂度动态调整并行策略，避免过度并行导致资源浪费。此框架可指导研发团队设计更高效的推理调度，改善用户体验，同时控制运营成本。

• 开发自适应并行调度器，根据任务难度动态切换副本并行和结构并行级别，以优化成本与延迟。
• 将 TIPEX 框架集成到智能体编排平台，作为可配置选项，供开发者按场景调整并行参数。
• 针对中等复杂度任务（如客服咨询）优化并行组合，在 GAIA 基准之外验证实际业务收益。

• TIPEX 在 GAIA 之外的真实业务场景（如客服、编程辅助）中的效果是否一致？
• token 消耗增加的具体幅度与成本模型未在摘要中量化。
• 框架是否兼容不同底层 LLM 和智能体协调协议，未在摘要中说明。