超越欧几里得裁剪：通过黎曼等距策略优化克服LLM强化学习中的探索崩溃

该研究揭示PPO-Clip在LLM强化学习中使用欧几里得度量衡量策略差异，与策略黎曼流形的内在几何不一致，导致探索崩溃。提出RIPO方法，在黎曼流形上保证等距策略更新，平衡探索与利用。在七个竞赛级基准上显著优于现有算法，AIME24上提升60%。

此前针对PPO-Clip探索崩溃的改进多为启发式方法，未触及根本原因。RIPO从几何原理出发，首次纠正度量不一致，实现更有效的探索与利用平衡，性能提升幅度大。

策略空间天然构成黎曼流形，PPO-Clip的欧几里得裁剪在低概率区域过度保守、高概率区域过于激进，导致探索崩溃。RIPO通过约束策略更新在黎曼流形上等距，保持几何一致性，同时优化偏差-方差权衡，稳定优化过程。

该技术可直接用于提升LLM的推理能力，例如数学解题、代码生成等竞赛级任务。训练时需修改RL算法的梯度更新方式，可能增加计算开销但未明确说明。对依赖PPO的现有训练管线有显著改进。

• 在数学解题或编程竞赛等强推理场景的LLM训练中，集成RIPO替代PPO-Clip，预期可提升模型推理成绩。
• 为AI推理引擎提供更高效的RL训练方案，尤其针对需要深度探索的复杂任务。

• RIPO在不同模型规模（如7B、70B）上的计算效率与扩展性如何？
• RIPO是否适用于非竞赛类通用对话任务中的RL训练？
• RIPO的实现与现有PPO库的兼容性及工程部署难度？
• 是否已有第三方独立复现验证其性能结果？