Ready Cohorts：限制GPU机会并避免LLM智能体控制中的主机往返

一篇论文研究了LLM智能体控制路径中的GPU执行机会。通过划分固定分区份额F、精确离线份额P*、局部上界U和在线实现份额A，在特定条件下得到F=30.19%、P*=43.00%、U=45.85%。另一项机制研究将GPU计算的决策保留在设备上，在全部36种配置中均比返回主机更快，速度比为1.19倍至2.39倍。所有测试调用均与主机预言机匹配。

此前LLM智能体控制路径中，工具调用间的确定性小转换通常由主机处理。该研究证明了将路由决策保留在GPU上可显著减少往返延迟（最高快2.39倍），并提供了量化GPU机会的边界框架，为优化智能体服务架构提供了可验证的参考。

LLM智能体服务在模型调用和工具调用之间重复执行小的确定性转换，这些转换可能包含足够的并发工作，适合GPU执行。通过固定分区份额、精确离线份额等指标量化机会边界。将GPU计算的决策直接留在设备上，避免了返回主机的四字节传输和重新调度，从而降低延迟。机制依赖于设备间的通信成本与GPU计算成本的权衡。

该研究显示，通过将控制决策保留在GPU上，可降低LLM智能体服务的响应延迟，提升吞吐量。架构上可减少主机与GPU间的通信开销，在高并发场景（如10万活跃会话）下效果明显。产品或研发可评估在推理管道中采用设备端决策的收益，但需注意不同GPU放置下的性能差异。

• 评估在GPU上执行智能体控制路径中的路由决策，减少主机往返，可降低延迟，适合高并发会话场景。
• 利用论文中的边界公式（F、P*、U）估算自身负载下的GPU执行机会，指导容量规划。
• 在推理框架中实现设备端决策模块，并对比主机方案，验证性能提升。
• 针对固定窗口边界导致的资源浪费，采用精确打包策略，如文中恢复81.83%的机会。

• 论文基于特定trace面板和参数（K=256，50ms截止），实际生产环境的性能提升是否一致？
• 设备端决策在多种GPU型号上的性能表现如何？
• 论文中的机制是否适用于工具调用类型不同的智能体？
• GPU上执行控制路径是否增加内存占用或影响模型批处理效率？