Artificial Analysis 在 GPT-6 Astra 评分遭质疑后更新其智能指数

Artificial Analysis 发布了其 Intelligence Index 的 4.2 版本，改动很可能源于外界批评其基准未能充分反映 GPT-6 Astra 的真实进展。更新后，Astra 的得分比其前身高出 4 分，但仍落后于 Anthropic 的 Claude Fable 5.1。

此次更新表明第三方评测机构承认原有基准存在缺陷，并针对模型能力评估方法进行了调整。更新后 GPT-6 Astra 的得分提升但仍落后于竞品，这直接影响公众与开发者对不同 AI 模型相对实力的认知，并可能改变市场选择。

指数版本更新很可能源于对评测指标或权重体系的调整，以更好地捕捉模型在新任务上的表现。得分变化可能来自题目难度、评分标准或模型能力测试视角的修正，其目的在于提升评测结果与真实进展的相关性，但具体机制未在证据中说明。

这一变化会影响依赖该指数进行模型选型的团队，他们可能需要重新评估 GPT-6 Astra 与 Claude Fable 5.1 的差距，并据此调整产品中采用的底层模型或优化方向。不过，此次更新并未提供任何具体的技术细节或性能数据，因此影响程度尚不清晰。

• 基于更新后的评分，评估将 GPT-6 Astra 集成到现有 AI 产品中的可行性，若其得分已满足需求且成本可控，可考虑替换现有模型以提升整体性能。
• 关注 Anthropic Claude Fable 5.1 的领先优势，若业务对模型能力要求较高，可启动概念验证测试，对比其在自身场景中的实际表现。
• 对于依赖第三方 AI 模型评测的研发流程，应建立本地化基准测试机制，定期验证模型真实效果，以降低对单一外部指数的依赖。

• Artificial Analysis 具体修改了评测中的哪些指标或权重？
• 此次指数更新是否引入了新的评测任务或数据集？
• GPT-6 Astra 与 Claude Fable 5.1 的具体得分是多少？
• 更新后的指数是否已获得其他独立机构的验证或认可？