AI 安全评估中的项目反应理论应用

arXiv 论文将项目反应理论（IRT）应用于 AI 安全评估，对 8 个安全基准、192 个语言模型进行心理测量分析。发现拒绝严格度、真实性和情境危害三个可解释因子主导模型差异；心理测量精选题目能以较少题目复现基准得分，约十题即可替代个别完整基准，评估成本降低 97%-99%；该方法还能检测简单的沙袋行为和 API 背后模型的变化，建议前沿实验室和评估者采用。

传统聚合基准分数因冗余、强相关及模型欺骗而难以信赖。该研究利用 IRT 提供统计工具，用较少题目降低成本，并实现模型内审与沙袋检测，使安全评估更高效、透明、可信，为行业标准提供新选择。

IRT 通过推断题目的心理测量特性，从个体在不同题目上的表现估计潜在特质，揭示安全行为低维结构。因子分析显示少数可解释因子足以解释基准间的方差；自适应选题依据模型实时表现选择高信息量题目，保证精度同时大幅缩减题目；同时，IRT 对同模型多次作答的一致性检测可暴露沙袋或后台替换。

对研发团队而言，可将近千成本的评估压缩至数十题，加速安全测试迭代；评估工具可采用 IRT 进行题目精简与审计，增强结果可解释性和抗操纵能力；对 API 服务，有助于持续监控模型行为变化，降低安全风险。

• 在内部安全评估流程中，用 IRT 选出少量高区分度题目，将单次评估成本降低 97% 以上，使更频繁的测试成为可能。
• 开发自适应安全评估工具，根据模型实时表现动态调整题目，在保持精度的同时缩短评估时间。
• 为 API 客户提供模型行为一致性审计报告，利用 IRT 检测简单的沙袋行为和后台模型替换，增强可信度。
• 基于论文公开的 192 个模型心理测量数据，构建安全基准去冗余服务，帮助团队清理重叠的评估指标。

• IRT 选出的精简题目是否对超出 192 个模型的未知模型同样有效？
• 论文中的自适应题目是否能针对不同安全领域（如偏见、越狱）分别优化？
• 检测沙袋行为的方法对复杂或精心设计的欺骗策略是否仍然有效？
• 该结论是否适用于多语言或中文安全基准？