分支策略优化：面向沙箱的语言智能体强化学习

这篇论文提出了分支策略优化（BPO），一种针对可执行沙箱环境的强化学习算法。BPO在主干轨迹的高熵决策点分支，生成树状rollout，利用兄弟节点的回报计算优势，比现有方法（GRPO、RLOO）在WebShop、ALFWorld、SWE-bench上提升3.6-6.1个绝对百分点，梯度方差减半，且策略更新量减少38%。

此前强化学习训练语言智能体时，对每个提示独立采样多条轨迹并减去组基线，忽略了沙箱可快照、可恢复的特性。BPO利用这一特性构建共享前缀的分支树，降低了方差，用更少的计算资源实现了更好性能，可能改变智能体训练的效率标准。

BPO的核心机制是：在主干轨迹中识别高熵决策点，快照沙箱状态后分支出K条替代动作，每条分支独立执行至终止。优势计算基于兄弟节点的回报差异，而非独立提示的基线，该估计无偏且方差更低，因为前缀部分解释了部分回报方差。这利用了沙箱确定性、可快照、可恢复的特性。

对于使用沙箱环境训练落地AI智能体的产品，BPO能显著提升任务成功率（3.6-6.1个百分点），同时减少训练所需的策略更新次数（降低38%），从而降低计算成本。但需要工程适配沙箱的快照与恢复机制，可能增加早期系统复杂度。

• 在自动化用户测试或代码调试场景中，采用BPO训练智能体以提升问题解决成功率，缩短迭代周期。
• 开发一套基于BPO的低成本训练框架，面向中小团队提供智能体优化服务，按训练次数计费。
• 将BPO集成到已有智能体开发平台（如LangChain、AutoGPT）的RL训练模块中，作为可选算法配置。

• BPO在更大参数模型（如70B以上）或连续动作空间任务上的表现如何？
• 实际部署中，沙箱快照和恢复的开销是否会抵消部分训练收益？
• 论文结果基于特定基准和模型，在真实多轮交互场景下能否稳定复现？