推理的价格：强化学习在神经机器翻译中的成本-质量权衡

该研究通过系统性地在训练或推理阶段省略推理轨迹，验证了在神经机器翻译中，使用带可验证奖励的强化学习时，推理阶段包含推理轨迹能提升翻译质量，但会导致输出token增加，带来计算成本与翻译质量之间的权衡。

此前RLVR被认为通过诱导推理能力提升翻译质量，但未区分训练和推理阶段的贡献。该研究首次系统分离推理轨迹在不同阶段的作用，明确指出推理阶段包含推理是关键，并量化了成本-质量权衡，为实际部署提供了决策依据。

RLVR训练中模型生成响应时附带推理过程。实验表明推理阶段包含推理轨迹能提高翻译精确度，但推理产生额外token，增加了推理时的计算开销，形成成本与质量的正相关关系。

若采用RLVR训练的NMT系统，需在推理阶段保留推理轨迹以获得更高翻译质量，但会增加计算成本和响应延迟。产品研发需评估质量提升是否值得额外成本，或探索压缩推理轨迹的方法。

• 针对法律文档翻译场景，部署带推理轨迹的RLVR模型以提升准确度，并接受较高的推理成本。
• 开发推理轨迹压缩或蒸馏技术，在保持质量前提下减少输出token数，降低计算成本。
• 设计动态成本控制策略，根据文档类型或质量要求选择性启用推理轨迹。

• 推理轨迹提升翻译质量的机制是否仅适用于法律文档，还是广泛适用于其他领域？
• 是否有办法在不显著降低质量的前提下压缩推理轨迹？
• 推理阶段使用推理轨迹的成本增量具体是多少（token增长比例、计算时间增加）？
• 在训练阶段包含推理轨迹是否仍有独立贡献？该研究仅对比了训练阶段省略，未验证其单独效果。