TRACE：用于多轮对抗性对话评估的轨迹感知推理

论文提出了Trace，一种面向多轮越狱攻击的防御方法。Trace在每次响应前识别轨迹中的操控线索，评估用户意图的良性或对抗性解释，分配越狱分数，并执行允许、谨慎或拒绝动作。团队训练了Llama-3.1-8B-Instruct，在七个基准上平均攻击成功率降至14.5%，远低于强基线31.4%和无防御目标的74.9%，同时过度拒绝基准上的合规率达93.3%。

此前防御多针对单轮越狱，难以识别多轮中逐步演变的操控模式，且常以牺牲有用性为代价。Trace通过轨迹感知的结构化推理，在不明显降低良性请求合规性的前提下，显著降低了多轮攻击成功率，并提高了攻击者所需成本，为LLM安全提供了新方向。

Trace在生成前先进行结构化推理：识别轨迹中的操控线索，同时考虑良性解释和对抗解释，计算越狱分数，再决定动作。训练使用SFT和GRPO，奖励函数同时优化良性提示的有用性和对越狱的鲁棒性，从而在安全性与有用性之间取得平衡。

对依赖LLM的对话产品，Trace提供了更可控的安全层，减少因多轮越狱导致的内容违规风险。其“允许/谨慎/拒绝”三级动作可作为产品策略，但需权衡合规率与过度拒绝。训练和推理增加计算开销，可能影响响应延迟和成本。

• 在对话产品中集成Trace的轨迹分析模块，对用户多轮输入进行实时风险评估。
• 将“允许/谨慎/拒绝”三级响应映射到产品交互策略，如对“谨慎”场景提供更安全的默认回复。
• 基于Trace的数据集和训练框架，开发面向特定垂直场景的定制化安全模型。
• 对Trace推理过程中的中间分数（如越狱分数）进行可视化，辅助人工审核与运营监控。

• Trace在非英语或低资源语言上的防御效果未在证据中说明。
• 训练和推理的具体计算成本未在证据中披露。
• Trace对超长多轮会话（超过训练分布）的鲁棒性未知。
• 论文未提供Trace在真实产品环境中的部署效果数据。