Qwen-Audio-3.1-Realtime：面向可靠智能体语音交互

阿里 Qwen 团队发布 Qwen-Audio-3.1-Realtime 论文，提出 Think、Act、Speak and Coordinate 三部分框架：Think 用 Core-Cocktail 监督微调与多教师在线策略蒸馏迁移语言能力并培养原生音频技能；Act 用自演化可执行环境和多粒度 rollout 做 GRPO 训练；Speak and Coordinate 对齐说话与行动的时机。在半双工语音转文本改造的 τ-Voice 上，任务成功率从 78.4% 升至 82.0%；在 Full-Duplex-Bench v1.5 上，对背景语音的响应率从 73.0% 降至 13.0%。

相比 Qwen-Audio-3.0-Realtime，3.1 不仅提升任务成功率，更把对背景人声的误响应率从 73.0% 压到 13.0%，说明实时语音助手从“能听懂”转向“知道何时该说、何时该做”，半双工与全双工场景的行为边界被明确量化。

机制上分三层：Think 通过多教师在线策略蒸馏把语言模型的推理能力迁移到音频模态，同时保留原生音频技能；Act 让模型在可执行环境中自我演化并做多粒度 rollout，用 GRPO 学习调用工具与解读反馈；Speak and Coordinate 则专门对齐发言的时机、方式与是否行动，从而抑制对背景语音的过度响应。

对语音助手类产品，这意味着可用同一模型覆盖工具调用、多语言理解与全双工交互，减少为抑制误唤醒而加的外挂 VAD 或规则层；研发上需评估蒸馏与 GRPO 训练成本，以及自演化环境带来的评测与安全开销。

• 将 13.0% 背景语音响应率作为卖点，验证会议、车载等多人声场景的可用性
• 用 τ-Voice 改造集与 Full-Duplex-Bench v1.5 建立内部语音智能体回归测试
• 参考 Voice Harness 原型，把前台语音交互与后台持久任务、记忆协调纳入产品设计
• 针对工具调用与多语言场景做 A/B，量化任务成功率提升对留存的影响

• τ-Voice 与 Full-Duplex-Bench v1.5 之外，其他公开基准上的表现未披露
• Core-Cocktail、M²-OPD、GRPO 训练的具体算力与数据成本未知
• Voice Harness 原型仍以前代 3.0 为前台，何时迁移到 3.1 未说明
• 模型是否开放权重或 API、定价与延迟指标均未提及