PR-OPD：面向智能体强化学习的特权表示同策略自蒸馏

该论文提出 PR-OPD 方法：先用 GRPO 热身，再让策略为每条轨迹事后写出 skill，以该 skill 重读自身回答作为停止梯度的教师，并在每层对其投影隐藏状态做对齐，同时保留奖励目标，无需外部 skill 库、独立教师或推理开销。在 ALFWorld 与 WebShop 两个骨干上，该方法在全部设置中取得最佳总体结果，ALFWorld 成功率最多提升 4.7 个百分点，WebShop 准确率最多提升 14.0 个百分点。

此前特权自蒸馏主要通过 token 概率传递 skill，但论文指出该通道存在两个问题：skill 虽把 WebShop 成功率从 42.2% 提升到 56.2%，却只改变不到四分之一采样 token 的概率；而 skill 改变了超过 80% 回答 token 的隐藏状态，且线性探针可追溯具体 skill。这提示隐藏状态可能是更有效的蒸馏目标。

方法不再只对齐输出概率，而是在 GRPO 热身之后，让同一策略为每条轨迹生成事后 skill，并把它作为带 skill 输入的教师，用停止梯度方式重读自身回答，在每一层将学生投影后的隐藏状态对齐到教师隐藏状态，同时与奖励目标联合优化。这样做把 skill 的信息通过表示层传递，而不是依赖稀疏的概率变化，并且保持部署时无额外教师与推理开销。

对做智能体产品的团队而言，这条路线提供了在不增加推理成本的前提下利用事后 skill 提升策略表现的可能，训练侧可复用同一模型充当教师，减少外部 skill 库和独立教师模型的维护成本。若结果可复现，研发重点会从提示工程或 skill 检索，转向训练目标中对隐藏状态的对齐设计。

• 在现有 GRPO 训练管线中加入隐藏状态对齐模块，用同一模型生成事后 skill 作为教师，验证是否能以较低工程成本换取任务成功率提升。
• 针对客服、网页操作等多步任务智能体，复现 ALFWorld 与 WebShop 的设置，评估 PR-OPD 在自有业务基准上的收益是否达到论文所述量级。
• 基于论文公开代码构建内部实验框架，比较表示层对齐与仅 token 概率蒸馏两种方案在训练稳定性和上线成本上的差异。
• 将事后 skill 生成与隐藏状态对齐作为可配置训练选项，供不同任务在奖励稀疏时快速切换。

• PR-OPD 在 ALFWorld 和 WebShop 之外的复杂真实业务任务上是否同样有效？
• 隐藏状态对齐带来的训练开销与收敛稳定性如何，是否需要额外超参数调优？
• 论文提到的 Invisible Advantage 与 Much to Align 现象在其他模型规模和架构上是否普遍存在？
• 代码开源的复现条件、硬件需求和训练时长尚未在证据中说明。