一种用于LLM安全防护的双重假设推理框架

研究者提出ARBITER框架，用于LLM安全护栏。它引入双重假设推理，在决策前同时分析安全与不安全解释；以及多组件监督微调，将输出分解为逻辑组件并加权。使用自生成推理轨迹和LoRA参数高效微调，成本低于现有方法。在三个安全基准测试中，ARBITER超越现有推理型和非推理型基线，域外评估表现明显提升，并给出可解释的证据短语。

此前推理型安全护栏依赖更大或闭源模型生成推理轨迹并进行全参数微调，成本高昂。ARBITER通过自生成轨迹和LoRA微调实现更低成本且性能更优，同时提供可解释的证据，为LLM安全部署提供了更实用、透明的选择。

ARBITER先对输入提示进行双重假设推理，分别构建安全和不安全解释，再基于此做出安全判定。MC-SFT将LLM输出拆分为多个逻辑组件，根据组件对最终决策的重要性分配不同权重，配合自生成推理轨迹和LoRA局部微调，使模型以更少计算资源学到更好的安全判断能力。

产品团队能以更低训练成本集成高性能安全护栏，无需依赖昂贵的大型教师模型或全参数微调。ARBITER的可解释证据短语有助于调试和合规审计，提升用户信任。该方法可加速LLM应用的安全迭代，降低安全工程的门槛。

• 将ARBITER集成到聊天机器人或API服务中，实现低成本、可解释的输入安全过滤。
• 基于ARBITER开发面向中小企业的LLM安全微调服务，按需提供护栏定制。
• 利用ARBITER的可解释输出构建安全事件日志分析工具，辅助人工审核。
• 结合LoRA适配器，为不同垂直场景快速生成轻量级安全护栏模型。

• ARBITER在多语言或对抗性攻击场景下的鲁棒性如何？
• 训练ARBITER是否需要大量人工标注的安全/不安全示例？
• 与OpenAI Moderation API等商业护栏相比，实际部署的成本和延迟是多少？
• 该方法是否适用于大参数模型（如70B以上）的推理阶段护栏？