固定池诊断：测试时协作的Oracle Gap与信号保真度

论文提出固定池诊断框架，将测试时协作（自一致性、最佳N选、批评模型等）的增益分解为可恢复质量、验证信号覆盖等可测量因子。在LiveCodeBench、MATH Level-5和GPQA-Diamond上，增益首先受限于oracle gap，其次受信号保真度约束。公共测试验证器MCC 0.825提升+8.14个百分点，生成测试验证器MCC 0.248仅提升+2.70pp。符号答案等价选择器优于自一致性，LLM选择器甚至负向。框架可用于预部署诊断。

此前测试时协作被视为普遍提升LLM推理能力的方法，但本研究揭示其增益不均甚至可能负向。该框架提出可测量因子（可恢复质量、信号保真度等）来预测协作效果，为是否采用验证器或选择器提供量化依据，避免盲目投入。

将协作重定义为候选选择问题，而非多智能体拓扑的内在属性。通过分解增益为可恢复质量、验证信号覆盖、条件选择质量和对已正确输出的损害，直接测量验证器与真实标签的候选级一致性（即信号保真度），从而诊断增益上限。

产品团队可使用该框架在部署前评估是否值得加入验证器或选择器，避免无效或负效益投入。若oracle gap小或信号保真度低，则无需复杂协作管线；若可恢复质量高且信号保真度好，则可放心集成。这直接降低研发试错成本。

• 开发预部署诊断工具，量化LLM应用的测试时协作增益预期，指导决策。
• 针对数学等任务采用符号答案等价选择器（如证据所示可超越自一致性），优化产品推理准确率。
• 基于信号保真度指标，优先训练高保真验证器以取代低效的LLM选择器。
• 利用oracle gap分析，为不同模型和采样配置定制协作策略，避免资源浪费。

• 诊断框架在更多任务（如文本生成、对话）上的泛化性未知。
• oracle gap作为任务、模型和采样配置的联合属性，其具体边界条件有待探索。
• 如何将诊断结果自动转化为最优协作配置（如选择验证器还是选择器）？
• 信号保真度与验证器训练方法（如生成测试 vs 公共测试）间的因果关系需进一步研究。