面向智能体强化学习的 MoE 专家选择结构化研究

一篇论文研究稀疏 mixture-of-experts（MoE）模型在长程 LLM 智能体场景中与智能体行为的协同设计问题。研究发现，现成 MoE 模型的专家选择呈现出与智能体轨迹对齐的结构：执行语义相近操作（如 READ、UPDATE）的轮次之间，专家路由重叠度高于操作不同的轮次。但标准强化学习算法忽略这种结构化特征，训练中 MoE 路由不受控制，经验上限制了任务表现与推理效率。作者提出分层路由控制框架，在轮次级别对齐智能体操作，在 token 级别做一致性正则，并加入熵门控机制解决后训练稳定性问题，在所有评测基准上成功率提升超过 10 个百分点。

此前 MoE 智能体的后训练通常直接套用通用强化学习算法，路由结构被视为与任务无关的中间变量。该工作指出路由本身携带智能体操作语义信号，并首次将其纳入训练目标，使成功率与推理效率同时改善，改变了 MoE 与智能体协同优化的默认做法。

MoE 的专家选择在智能体轨迹中并非随机：语义相近的操作轮次会激活重叠的专家，说明路由隐式编码了操作类型。标准 RL 只优化输出奖励，不约束路由，导致这种结构在训练中被破坏。分层控制把轮次级路由与操作类型对齐，用 token 级正则保持局部一致，再用熵门控抑制后训练中的不稳定，从而把轨迹结构转化为可优化的容量分配信号。

对使用 MoE 模型构建长程智能体的团队，该结果意味着可在不换基座模型的前提下，通过后训练阶段的路由控制获得成功率与推理效率双重收益。研发上需要新增路由监控与分层正则的工程支持，产品侧则可能降低单次任务所需算力，并提升多步工具调用类功能的稳定性。

• 在智能体后训练流程中加入轮次级路由监控面板，量化各操作类型与专家激活的对应关系，作为调参依据。
• 针对 READ、UPDATE 等多步工具调用场景，试验分层路由正则与熵门控的组合，评估成功率与推理成本变化。
• 将路由结构对齐作为微调服务的一项可配置能力，面向使用 MoE 基座的智能体产品提供后训练选项。

• 论文未说明该路由控制框架在非 MoE 稠密模型或不同 MoE 架构上的可迁移性。
• 超过 10 个百分点的成功率提升具体对应哪些评测基准与任务类型，证据中未列出。
• 熵门控机制带来的额外训练开销与推理延迟变化，证据中未给出数据。
• 该结论是否可复现于真实生产规模的长程智能体任务，尚待验证。