更快 IndexTTS-2：在 GPU 上加速并流式化自回归零样本文本转语音合成

Faster IndexTTS-2 使用 NVIDIA TensorRT 和 TensorRT-LLM 加速了自回归文本转语音模型 IndexTTS-2 的所有神经网络组件。它支持流式合成和批处理推理。在 Seed-TTS 基准测试中，GPT 部分加速 5.0 倍，端到端加速 3.6 倍，同时在词错误率、说话人相似度和自然度上仅有极小损失。

此前 IndexTTS-2 推理速度仅勉强达到实时，缺乏流式与批处理支持，难以用于低延迟交互场景。Faster IndexTTS-2 实现了 5 倍 GPT 加速和 3.6 倍端到端加速，并支持流式输出，使得高质量合成语音能在实时应用中落地。

通过 NVIDIA TensorRT 优化神经网络的推理计算图，利用 TensorRT-LLM 加速自回归 GPT 的 token 序列生成，同时引入批处理（batch）和流式（streaming）设计，最大化 GPU 利用率，从而在保持合成质量的前提下大幅降低延迟与计算开销。

该加速方案可直接部署于需要低延迟语音交互的产品（如语音助手、智能客服、实时配音），使合成速度从“接近实时”提升至“远超实时”，并支持流式输出，提升用户体验。批处理支持还能降低 server 端成本。

• 将 Faster IndexTTS-2 集成到智能音箱或语音助手中，实现即时应答的语音合成。
• 用于实时语音翻译或配音产品，边接收文本边输出音频。
• 在在线教育平台中，为学生提供即时朗读功能，减少等待时间。
• 作为视频或直播场景的实时语音合成引擎，支撑动态解说或角色配音。

• Faster IndexTTS-2 在移动端或边缘 GPU 上能否达到同样加速比？
• 是否保留了原始 IndexTTS-2 的多说话人零样本能力？
• 长期运行或高并发下，流式合成的稳定性如何？
• 是否计划开源或提供可用的预构建模型/API？