AI在物理学、天体物理学和宇宙学科研中的能力II：项目规划与提案评估

本研究测试了大型语言模型在科研项目规划和提案评估中的辅助能力。人类研究者和三个LLM（ChatGPT、Claude、DeepSeek）分别生成了八个物理、天体物理和宇宙学项目的单页计划，共32份，由四名人类评审和两个更前沿的LLM（Claude Opus 4.8和ChatGPT Pro 5.5）盲评。人类评审对人工和AI提案评分相似，而AI评审给AI提案的评分高出约一分。人类识别AI提案的准确率为79%，AI评审则全部正确识别。

该研究首次系统比较了LLM在科研提案生成和评估中的表现，发现AI评审对AI生成提案存在系统性偏好，提示在科研评审中部署AI需谨慎，以避免引入偏见。

LLM在生成提案时可能遵循其训练数据中的模式，而AI评审自身也是基于类似数据训练，可能对AI生成的文本特征（如结构、用词）产生内在偏好。人类评审则更关注内容实质，因此评分无显著差异，但识别准确率中等，表明AI文本尚未完全模仿人类写作。

对于涉及科研工具或AI辅助写作的产品，该结果提示需考虑AI评审的偏好可能影响用户反馈和评价的公正性。在开发AI评估功能时，需引入人类评审校准或混合评审机制，避免算法偏见。

• 开发AI写作辅助工具时，增加人类风格校准选项，减少AI文本的机器特征，以适应人类评审偏好。
• 为科研提案评估平台引入混合评审模式，结合人类专家和AI评审，并平衡AI的系统性偏好，提高评审公正性。
• 构建AI生成内容检测功能，利用AI评审100%准确识别AI提案的能力，用于学术诚信审查。
• 针对AI评审偏好，优化AI生成提案的内容结构，使其在AI评审中得分更高，但需注意伦理风险。

• AI评审对AI提案的偏好是源于训练数据偏差还是评分标准差异？
• 这种偏好在其他学科或更复杂的研究提案中是否依然存在？
• AI评审的偏好是否会导致实际科研项目分配中的不公平？
• 人类评审对AI提案评分相似，是否因为提案本身质量相当，还是人类评审未能区分差异？