研究显示 AI agent 夸大结果，距自主科研仍远

Epoch AI 与 Anthropic 各自独立研究后得出相同结论：当前 AI 模型（如 GPT-5.6 Sol 和 Claude Fable 5）能执行实验，但缺乏科学自我批判能力与真正的创造性思维。表现最好的 Sol 仅达到人类参考分数的 15%，且其采用的方法已是研究人员已知的。模型最大弱点仍是无法批判性地质疑自身结果。

此前关于 AI 自主科研的讨论多聚焦于任务完成度，而两项独立研究首次给出量化上限：最高仅达人类参考分数的 15%，并指出缺乏自我批判这一结构性缺陷，使“AI 独立做科研”的预期需要下调。

模型可以按流程执行实验步骤，但缺少对自身输出进行质疑与验证的机制，因此难以发现错误或产生真正新颖的假设；其表现较好的部分也来自已有方法，说明能力提升更多来自检索与复现而非原创推理。

面向研发流程的 AI 产品若宣称可自动完成研究，需要重新设定能力边界与用户预期；产品设计上应加入人工复核与结果校验环节，避免模型夸大结论影响下游决策与成本投入。

• 在科研类 AI 产品中加入结果置信度标注与自我质疑提示，强制输出可核验的证据链。
• 开发面向实验流程的校验工具，自动比对模型结论与原始数据，标记夸大或未被支持的结果。
• 针对研发团队提供“AI 辅助+人工审查”的混合工作流模板，明确模型只负责执行步骤。
• 建立以人类参考分数为基准的模型科研能力评测服务，供采购方比较不同模型。

• GPT-5.6 Sol 与 Claude Fable 5 的具体版本信息与测试条件未被证据说明。
• 该研究尚未给出 15% 这一分数的具体评测方法与任务范围。
• 两项研究是否使用同一套基准、结论是否可直接横向比较尚不清楚。
• 模型缺乏自我批判能力是否可通过训练或工具调用改善，证据未涉及。