跨研究社区的AI辅助同行评审：从审稿AI政策到LLM评审质量

一项研究调查了111个AI/NLP会议和医学期刊的审稿AI政策，发现两个领域监管差异显著。同时，研究者使用ICLR 2026和Nature Communications的新数据集评估了AI生成的同行评审，发现当前LLM能生成流畅详细的评审，但存在过度正面推荐、批评泛泛、证据支撑不均等系统性弱点，并指出单一总分可能高估评审质量。

此前缺乏对期刊AI审稿政策的系统性梳理，也缺少对AI审稿质量的细粒度评估。该研究首次对比两大社区政策差异，并揭示了AI评审在乐观偏差、批评泛化等方面的不足，提醒评审方不能仅依赖综合分数，需多维度衡量，对科研出版流程有直接参考价值。

LLM通过大规模预训练获得生成流畅文本的能力，但其训练目标未针对评审任务的严谨性优化，导致推荐分数偏高、批评缺乏具体性。研究采用LLM-as-a-Judge等互补指标，发现综合质量分掩盖了维度间的差异，因此需要多维评估才能反映真实评审质量。

对学术出版平台和审稿工具而言，集成AI评审功能时需谨慎设计输出，避免过正面推荐误导决策。应构建多维度质量监控指标，并考虑不同学科社区的审稿政策差异。可开发辅助工具，在生成评审后自动检测乐观偏差和泛泛批评，提升AI评审的可信度。

• 开发AI评审质量检测插件，实时识别过度正面推荐和泛泛批评，供期刊编辑使用。
• 构建跨社区审稿政策数据库，帮助平台动态调整AI审稿策略，适配不同学科规范。
• 推出多维评审评分面板，展示分数对齐、粒度、证据支撑等指标，辅助编辑决策。
• 为AI审稿系统增加证据引用校验功能，确保评论有具体依据，减少空泛内容。

• 该研究使用的LLM具体版本是哪些？不同模型间质量差异是否显著？
• AI生成的评审在实际录用决策中会被多大程度采纳？是否已产生实际影响？
• 过度正面推荐和证据支撑不均的根源是模型训练数据或提示词设计？
• 多维度评估指标在真实场景中是否已得到验证？与编辑最终决策的关联度如何？