从 RLVR 到 RLSVR：任务转换诱导自验证奖励，用于开放式 LLM 自我改进

Hugging Face Daily Papers 论文提出 RLSVR，一种基于任务转换的训练范式，将开放式任务转化为可验证的代理环境，自动生成奖励信号。实例 SpyRL 采用多智能体自博弈，受“谁是卧底”游戏启发，通过投票结果提供可验证奖励。实验表明，在文本摘要、创意写作和数学推理上，SpyRL 优于现有自我改进方法。

此前 RLVR 仅适用于数学和编程等可确定性验证的领域，开放式任务依赖人类偏好、奖励模型或 LLM 裁判，存在评估偏差、能力瓶颈和额外推理成本。RLSVR 通过任务转换将开放式任务变为可验证的代理环境，有望扩大强化学习在开放式任务中的应用范围，减少对外部评估器的依赖。

借鉴自监督学习中的 pretext task 思想，RLSVR 将开放式任务转换为可验证的代理环境，其内部规则和交互结果自动生成奖励信号。SpyRL 实例中，智能体获得不对称信息并投票识别卧底，卧底身份预先确定，投票结果提供完全可验证的奖励，且成功识别与输出质量密切相关。

对于依赖 LLM 进行开放式内容生成（如摘要、写作）的产品，RLSVR 可能减少对奖励模型或 LLM 裁判的依赖，降低推理成本和评估偏差，从而提升模型自我改进效率，但具体效果和适用范围需进一步验证。

• 评估在文本摘要产品中集成 SpyRL 自博弈环境，自动生成训练奖励，减少人工标注成本。
• 探索将 RLSVR 应用于创意写作工具，通过内部投票机制验证输出质量，提升模型迭代速度。
• 将 SpyRL 设计为多智能体协作框架，用于内容审核或事实一致性检查，提供可验证结果。

• RLSVR 在更广泛开放任务（如对话、代码生成）上的泛化能力尚不明确。
• SpyRL 的投票机制是否引入新的评估偏差或计算开销，证据未提及。
• 与现有奖励模型相比，RLSVR 在多大程度上减少推理成本尚未量化。