Tevatron 与 Megatron 结合：学术预算下的专家并行 LLM 重排序器训练

Tevatron 3.0 将 Megatron-Core 训练后端集成到原有框架中，保留数据流水线、评估流程和 Hugging Face 兼容检查点。在数据并行设置下，其重排序质量和训练效率与 FSDP 相当，推荐单节点配置下速度提升最高 22%，支持 LoRA 和全参数微调。专家并行使训练 30B 参数的 Qwen3-30B-A3B MoE 重排序器成为可能，而 PyTorch FSDP1 无法实现。在 BEIR-15 上与三种第一阶段检索器进行受控比较，发现 MoE 重排序器以不到一半的激活参数达到稠密 8B 模型的质量，推理吞吐量更高。框架和检查点将发布。

过去学术团队受限于训练基础设施，难以训练大规模 MoE 重排序器。Tevatron 3.0 通过集成 Megatron-Core 和专家并行，使得在学术算力下训练 30B 参数 MoE 重排序器成为可能，同时保持与现有工具链兼容，降低了大规模模型训练的门槛。

MoE 模型通过专家并行将不同专家分布到不同设备，减少了单设备内存压力，使得训练超大模型成为可能。该框架在数据并行基础上引入专家并行，结合 Megatron 的优化，实现了比 FSDP 更高的效率，同时保持质量和检查点兼容性。

对研发团队而言，可在有限算力下训练和部署大规模 MoE 重排序器，获得与稠密 8B 模型相当的质量，但推理吞吐更高、激活参数更少，可降低推理成本和延迟，提升搜索和推荐等场景的排序性能。

• 评估将现有重排序流程迁移到 Tevatron 3.0，利用其专家并行能力在学术预算下训练 30B 规模模型。
• 在资源受限场景部署 Qwen3-30B-A3B MoE 重排序器，以更低的推理成本获得与 8B 稠密模型相当的效果。
• 基于其开源框架和检查点，构建针对垂直领域的微调重排序服务，降低研发门槛。
• 利用其 MoE 与稠密对比实验数据，指导模型选型和训练策略。

• 框架和检查点的具体发布形式和许可证尚未明确。
• BEIR-15 上的质量对比是否覆盖所有检索器类型，其他数据集表现尚待验证。
• 推荐单节点配置的具体硬件要求未知。
• vLLM 推理吞吐的具体数值未在摘要中给出。