FlashRT: 引导代理部署实时多模态应用的代理框架

FlashRT 是一个代理框架，用于引导编码代理将开发者编写的参考实现自动转化为优化的多 GPU 部署。它采用链式程序范式，通过生成中间表示、验证、静态分析和迭代优化循环，在 NVIDIA B200 GPU 上实现高达 70 倍延迟降低和 2.8 倍吞吐量提升，在 AMD MI355X 上也达到相似的延迟降低效果。该框架支持视频世界模型和多模态大语言模型等应用。

传统多模态部署需要手工调整流水线布局与并行策略，FlashRT 通过自动化优化流程，显著降低了开发者的手工工作量，并大幅提升性能。

FlashRT 使用链式程序范式，将编码代理的优化过程分解为多轮转换：首先生成捕获数据依赖和持久状态范围的中间表示，通过顺序解释器验证，再进行静态分析识别候选变换，最后在测量门控循环中迭代实现、验证和基准测试，从而自动找到高效部署方案。

直接提升多模态应用（如语音代理、视频生成）在多 GPU 环境下的部署性能，减少手工调优时间，降低延迟和吞吐量瓶颈，有利于快速迭代产品。

• 将 FlashRT 集成到多模态应用开发工具链中，自动优化模型流水线部署。
• 评估 FlashRT 对不同硬件平台（如 NVIDIA 与 AMD）的适配成本，加速异构集群部署。

• FlashRT 是否支持所有类型的多模态模型，还是仅限于特定架构（如视频世界模型和多模态 LLM）？
• 该框架的优化过程对开发者编写的参考实现有哪些依赖或限制？
• FlashRT 的部署方案是否适用于边缘设备或单 GPU 场景？