同结果不同证据：LLM 安全评估中的意图恢复

一项 arXiv 论文指出，LLM 安全评估常用攻击成功率（ASR）概括有害输出行为，但相同的非有害结果可能来自不同原因：模型可能识别出有害任务后拒绝，也可能根本没识别出任务，或回应了别的内容。在意图被掩盖的提示下，低 ASR 无法说明评估任务是否真的被处理。作者将 ASR 与“有效理解率”（UR）配对报告，衡量回答是否识别并处理被评估任务。跨界面实验显示，相似 ASR 对应的任务恢复率差异明显；英文受控重构显示提示越明确恢复率越高，ASR 不遵循同一规律；FormLogic 中高恢复率仍可能伴随频繁的有害协助。作者据此主张在安全评估中同时报告意图恢复与 ASR。

此前安全评估主要以 ASR 这类结果指标来衡量模型风险，低分通常被直接当作安全信号。该研究显示，相同的非有害结果可能对应完全不同的内部处理状态：真正识别并拒绝了任务，还是根本没有理解任务。这使得仅凭 ASR 可能高估或误读模型的安全表现，提出将任务恢复率纳入评估指标体系。

ASR 只看输出是否有害，属于结果层面的汇总指标；UR 则要求回答同时识别被评估任务并将其作为待答任务处理，属于任务参与层面的判断。二者配对后，可以区分“理解并拒绝”“未理解而安全”“答非所问”等不同情形。证据显示，提示被压缩或意图被掩盖时，任务恢复率会下降，而 ASR 未必同步变化，因此 ASR 无法单独反映模型是否真正接触到评估任务。

对安全评测流程而言，仅记录 ASR 可能掩盖模型是否真正理解并被测试到。产品与研发团队在构建红队、越狱评测或安全回归测试时，需要增加对任务恢复或意图识别的检查，避免把“没听懂”误判为“安全拒绝”。这会增加评测设计和人工标注成本，但可减少对模型安全能力的误判，并影响模型上线前的安全结论。

• 在内部安全评测平台中增加意图恢复率指标，与 ASR 一起展示，用于区分拒绝、未识别和答非所问。
• 为红队测试集补充可验证的任务识别标注，使每次评测能同时输出 ASR 与任务恢复率。
• 在模型安全报告中披露压缩提示与明确提示下的恢复率差异，供合规与模型选型参考。

• UR 指标在不同语言、不同任务类型和不同模型规模上是否具备稳定可比性，证据未说明。
• 如何低成本自动化标注“回答是否识别并处理被评估任务”，论文未给出完整方法细节。
• 高恢复率与高频有害协助并存时，应如何设定安全上线阈值，证据未回答。
• 该配对指标是否会显著改变现有模型的安全排名，尚未在证据中展示。