位置偏倚隐藏在天花板效应之下：LLM基准测试的排列诊断方法

研究者开发了开源工具inspect_permute，用于对LLM多选题评估中的位置偏倚进行排列诊断。通过对gpt-4o-mini、claude-haiku-4-5、gemini-2.5-flash、grok-3在MMLU五个子领域进行24000次API调用，发现位置偏倚仅在约60-95%基础准确率的区间内可被统计检测；低于此区间处理负荷占主导，高于此区间天花板效应压缩方差，标准MMLU的前沿模型因准确率过高而无法测出偏倚。

此前业界普遍认为位置偏倚是LLM评测的固定混杂因素，但测量手段常因单次选项排列和采样噪声而不可靠。该研究首次给出可检测的准确率区间，并指出在高性能模型上无法测出偏倚不等于真正无偏，改变了评测结果的解读方式。

位置偏倚的可检测性受基准准确率影响：低准确率时模型因处理能力不足而随机答题，偏倚信号被噪声淹没（处理负荷主导）；高准确率时选项几乎全对，方差被天花板效应压缩，卡方检验无法分辨；仅在中间准确率区内，选项间的错误分布差异才能被统计方法捕捉。

若产品中采用多选题基准（如MMLU）评估LLM能力，需注意前沿模型位置偏倚可能是“无法测量”而非“不存在”，评测结果应结合准确率区间解释；可集成inspect_permute工具对自有评测数据做偏倚诊断，避免误判模型公平性。

• 在LLM评估流水线中集成inspect_permute，自动检测多选题的答案顺序偏倚并输出置信区间。
• 根据模型基础准确率调整测试集难度，使其落在60-95%区间以暴露潜在位置偏倚。

• inspect_permute在非MMLU类基准（如代码、推理任务）上的适用性尚未验证。
• 该发现是否适用于少样本或微调后的模型？论文仅测试了零样本温度0生成。