代理式 AI 工作负载的架构影响研究

微软 Azure 针对代理式 AI 工作负载的架构影响进行了首项研究，发现此类执行碎片化、异构化，请求扩展为多次跨 CPU-GPU 边界的推理、工具调用和编排。研究指出传统统一服务器存在架构不匹配，并构建了原型 Agora，通过动态利用空闲 CPU 和 GPU 内存超订等方式优化资源利用。

此前对 AI 基础设施的优化多聚焦于大模型推理本身，而代理式工作流在数据中心中的独特资源需求未被系统研究。该研究首次通过生产环境数据揭示了 CPU 关键路径和碎片化执行等特征，为数据中心设计和服务器优化提供了新视角，可能推动基础设施投资方向的调整。

代理式 AI 工作流由 LLM 推理、工具调用和编排决策组成，计算需求从单一请求扩展为多步骤执行，反复在 CPU 和 GPU 间切换。CPU 在宿主上运行编排和工具，成为关键路径；执行结构导致负载呈低基线加突发尖峰，模型组合影响 GPU 使用均衡度。传统服务器均匀配置难以匹配此模式，导致 CPU 与 GPU 资源闲置；多代理共享核心还损害微架构局部性。

对于使用代理式 AI 的公司，现有云基础设施可能因资源不匹配而效率低下。部署代理应用时需考虑 CPU 和 GPU 配置的灵活性，以及如何管理突发负载。Agora 原型等技术可能用于提升资源利用率，降低运营成本，并影响云服务商对代理优化实例的设计。

• 开发针对代理工作负载的动态资源调度软件，利用空闲 CPU 执行后台吞吐任务，同时保障尾部延迟。
• 设计 GPU 内存超订和状态预取机制，以支持更多代理并发并隐藏交换延迟。
• 构建代理工作负载的剖析工具，帮助用户识别资源瓶颈并优化执行结构。
• 提供异构服务器或可配置基础设施，以匹配代理工作负载的碎片化特征。

• 该研究基于微软 Azure 的生产环境，其结论是否适用于其他云平台或自建数据中心？
• Agora 原型的性能提升幅度和实际部署成本尚未披露，其在通用场景下的收益有待量化。
• 代理工作负载的异构性是否会随着框架演进而缓解，还是持续存在？
• 研究未明确提及 GPU 资源利用率的提升范围，Agora 的 GPU 内存超订是否会增加失败风险？