为LLM偏好对齐奖励更优思考

研究人员提出Thinking Checklist Reward (TCR)，一种面向RL偏好对齐的过程奖励方法。TCR将偏好对转化为样本专属思考清单，并评估推理轨迹是否覆盖偏好隐含要素；通过指数移动平均残差公式分离与结果奖励重叠部分，实现更细粒度的轨迹级信用分配。在三个模型家族的五个模型上实验，TCR一致提升对齐性能，消融实验验证了EMA残差公式和样本清单监督的有效性。

传统偏好对齐依赖结果级奖励，对推理轨迹指导有限，导致信用分配粗略。TCR首次在RL框架中引入过程导向的思考清单奖励，通过样本特定清单和残差技术，弥补了结果奖励无法反映轨迹质量的问题，使模型优化方向更符合人类对思考过程的期望。

TCR将偏好对（含正面与负面响应）转换为针对该样本的思考清单，作为过程奖励信号。生成推理轨迹时，TCR逐项检查是否覆盖清单要点。为减少与结果奖励的冗余，采用EMA残差公式：将当前过程奖励减去可被结果奖励预测的部分，得到互补的'思考剩余'，专注于轨迹层面的调整。

对采用RLHF训练流程的LLM产品，TCR可作为训练模块中的奖励信号增强组件，提升模型在需要多步推理或复杂指令场景下的对齐质量。实施时需改造奖励计算管道，引入思考清单生成与逐步评估，增加一定计算开销，但实验表明能持续改善基准表现。

• 将TCR集成到开源RLHF框架（如TRL、DeepSpeed）中，作为可选过程奖励模块，吸引需要精细化对齐的模型训练团队。
• 基于TCR开发面向长推理任务（如数学、编程）的模型微调服务，提供标靶思考清单定制与奖励评估API。

• TCR在不同规模模型（小参数量模型）上的效果是否仍然显著？
• 思考清单的生成依赖人工标注还是可自动从偏好对推断？论文未说明构建成本。
• EMA残差公式的超参数（如衰减系数）如何影响性能？是否有普适设置？