解码层禁忌：针对大语言模型鲁棒性的诊断压力测试

Hugging Face Daily Papers 发布论文《Decoding-Level Taboo: A Diagnostic Stress Test for LLM Robustness》，提出一种名为 Taboo 的零提示诊断压力测试，在运行时的 logit 空间动态屏蔽候选词，迫使模型偏离常规生成路径。评估多个开源模型系列后发现，模型规模和训练后指令对齐程度与离路径鲁棒性正相关。该测试可用于生成合成数据、测试安全护栏和部署前可靠性审计。

传统评估只关注模型在最优条件下的表现，忽略了真实部署中复杂提示和约束导致的能力下降。Taboo 提供了一种在运行时直接干预模型生成的方法，能更真实地暴露模型在非理想路径下的弱点，推动评估方法和性能优化思路的变革。

模型在训练中形成了狭窄的高概率生成路径，外部约束或提示变化会迫使它偏离此路径，导致性能下降。Taboo 通过在词边界动态屏蔽高概率 token，迫使模型使用迂回表达，从而在无需额外提示的情况下测试其结构性和语义鲁棒性。

对于依赖 LLM 的产品，Taboo 可用于测试系统提示、安全护栏等场景的可靠性，提前发现模型在约束下的失效模式。这有助于降低部署风险，改善用户体验，但当前证据中未涉及具体影响。

• 在模型上线前使用 Taboo 进行离路径鲁棒性压力测试，识别高风险场景并针对性优化
• 基于 Taboo 生成多样化合成训练数据，用于提升模型的迂回表达能力

• Taboo 在不同模型族和实际场景中的适用性是否一致？
• Taboo 在闭源模型上的表现是否优于开源模型？
• 该方法能否在实际部署中有效提升生产环境的鲁棒性？