- 类型
- 模型
- 来源
- AIHOT · X / 公众号精选
- 发布
- 2026年10月15日 16:22
- 状态
- 单一信源
发生了什么
ARC Prize 公布 Gemini 4 Argon 在 ARC-AGI (Verified) 的评测成绩。其中 ARC-AGI-3 使用 provider adapter harness 得分 97.5%、成本 4.8K 美元,标准 harness 得分 49.8%、成本 5.8K 美元;ARC-AGI-2 得分 91.3%,每任务 0.32 美元;ARC-AGI-1 得分 98.5%,每任务 0.16 美元。Google DeepMind 因此成为第二家在 ARC-AGI-3 上超过 95% 的前沿 AI 实验室。
为什么重要
此前 ARC-AGI-3 仅有少数实验室突破高位分数,Google DeepMind 成为第二家超过 95% 的前沿实验室,说明该基准的领先成绩不再由单一机构占据。同时同一模型在标准 harness 下仅 49.8%,与 adapter harness 的 97.5% 形成明显落差。
底层逻辑
成绩差异集中在 harness 配置:provider adapter harness 与标准 harness 使用同一模型,但得分从 49.8% 升到 97.5%,表明评测接入层、任务封装或交互方式对结果影响显著,而非仅由模型权重决定。成本数据则显示不同基准与 harness 的推理开销并不一致。
产品与商业机会
对研发与产品评测而言,引用 ARC-AGI 分数时需同时说明 harness 类型与单任务成本,否则横向比较会失真。若产品依赖第三方基准做模型选型,应把 harness 适配和推理预算纳入验证流程,不能只看最高分。
- 在模型评测或选型工具中,把 harness 类型、总分与单任务成本作为并列字段展示,避免只呈现最高分。
- 针对自身业务任务搭建 adapter harness 复现实验,验证接入层优化能否带来类似幅度提升。
- 将 ARC-AGI-1、ARC-AGI-2、ARC-AGI-3 的分任务成本纳入推理预算模型,用于成本敏感场景选型。
仍待确认
- provider adapter harness 与标准 harness 的具体差异是什么,为何得分相差约 48 个百分点?
- 97.5% 的成绩是否经过 ARC Prize 官方独立验证,还是由公布方自行提交?
- ARC-AGI-3 的 4.8K 美元与 5.8K 美元成本对应多少任务量,能否换算为单任务成本?
- 除 Google DeepMind 外,第一家超过 95% 的实验室是谁,两者成绩是否可直接比较?