更少专家更快解码：面向混合专家的成本感知推测解码

EcoSpec 是一种面向稀疏混合专家（MoE）大语言模型的成本感知推测解码框架。它通过轻量级专家预测器和动态专家缓冲区，在保持高接受概率的同时优先复用当前验证集已覆盖的专家，避免因高置信度草稿令牌路由到不同专家而导致的“专家散射”问题。在 DeepSeek-V3.1（671B）、Qwen3-235B-A22B 和 GPT-OSS-120B 等模型上的推理、编码、问答等基准测试中，EcoSpec 一致减少了活跃专家足迹，提升了端到端解码速度。

此前推测解码的草稿选择策略仅优化接受概率，未考虑 MoE 模型非均匀内存成本。EcoSpec 首次将专家激活成本纳入草稿路径选择，在保持高接受率的同时减少专家切换带来的内存流量，使 MoE 推理加速不再以增加稀疏路由开销为代价。

EcoSpec 使用轻量级专家预测器估算每条草稿路径将激活的专家集合，并通过动态专家缓冲区记录当前验证集已覆盖的专家。在选择草稿树时，它偏好那些能复用已有专家且保持较高接受似然的路径，从而降低全局专家权重内存搬运量，在并行验证阶段实现更高加速比。

对使用 MoE 大模型的产品（如对话、代码生成服务），EcoSpec 可在不修改模型验证规则的情况下直接降低推理延迟和内存带宽占用，尤其适合高并发在线推理场景，有望减少 GPU 使用量或提升响应速度。

• 在 DeepSeek-V3.1、Qwen3-235B-A22B 等 MoE 模型的推理服务中集成 EcoSpec，减少活跃专家数并提升吞吐量。
• 开发基于 EcoSpec 的推理加速中间件，供使用稀疏 MoE 架构的商业 LLM API 调用。
• 针对不同 MoE 模型的专家路由特性，优化专家预测器的轻量级实现，降低额外计算开销。
• 将 EcoSpec 与量化、剪枝等工程优化结合，进一步压缩 MoE 推理的端到端延迟。

• EcoSpec 在不同 MoE 模型（如不同专家数、不同路由策略）上的加速比是否稳定？
• 轻量级专家预测器本身的推理开销是否会被大规模批处理摊薄？
• EcoSpec 是否适用于动态专家数或专家容量变化的 MoE 变体？
• 该框架对长序列生成场景（如代码补全）的加速效果是否优于短对话场景？