OpenAI称GPT-5.6 Sol在ARC-AGI-3超Opus 5，但依赖自家API

OpenAI宣称其GPT-5.6 Sol模型在ARC-AGI-3测试中得分38.3%，超过Anthropic的Opus 5，但该成绩是在使用OpenAI自家API及两个额外设置下的结果；在官方测试环境下，GPT-5.6 Sol得分仅为7.8%。ARC Prize称测试环境供应商中立，但可能使用了过时的API，导致与Opus 5的比较出现偏差。

此事件显示AI基准测试的公平性受到挑战，OpenAI使用非官方设置取得高分的做法，可能影响行业对模型性能的评估标准，并引发对基准测试方法论的争议，进而影响消费者和企业的选型决策。

OpenAI可能通过利用自家API的特定功能或优化设置，使模型在特定基准上表现更佳，但官方测试环境可能未包含这些功能或存在API版本差异，导致得分显著下降。ARC Prize的测试环境虽声称中立，但API版本的不一致可能造成比较的偏差，凸显基准测试依赖基础设施的复杂性。

对于依赖第三方基准测试进行技术选型的产品团队，此事件警示需评估测试条件的差异，避免被非标准成绩误导。同时，API版本对模型性能的影响可能引发对模型实际能力的质疑，影响OpenAI API的商业吸引力。

• 在对比不同模型时，要求供应商提供官方标准测试环境下的结果，并注明测试配置细节，确保评估一致性。
• 开发内部基准测试套件，模拟真实业务场景，降低对单一第三方基准的依赖，提高选型准确性。
• 关注ARC Prize与OpenAI之间的后续讨论，及时获取关于API影响评估的最新信息，以调整产品策略。

• OpenAI的GPT-5.6 Sol在官方测试环境下得分7.8%的具体原因是什么？是否与API功能或设置有关？
• ARC-AGI-3测试环境使用的API版本与OpenAI最新API的差异具体体现在哪些方面？
• Anthropic的Opus 5在相同非官方设置下是否也能获得更高得分？