大语言模型版本更替削弱 AI 辅助科学写作的检测

研究将 PNAS 的 4,000 篇 ChatGPT 之前摘要，与三家厂商在 2023 年 6 月至 2026 年 8 月发布的 23 个 LLM 版本改写结果配对，并在多种检测器维护场景下训练检测器。结果显示，仅用某厂商旧版本训练的检测器会在代际边界失效：在误报 1% 人类摘要的校准下，边界前可捕获逾 99% 改写，边界后仅 3.8%。模拟中，覆盖全部 23 个版本的筛查要么误标八分之一人类摘要，要么漏掉三分之一最新版本改写。

期刊和会议已开始筛查 LLM 代写，但其可靠性建立在固定版本基准上，而实际使用的模型版本持续更替。该研究说明，一次评测得到的检测准确率会随模型换代迅速过期，筛查能力可能在版本边界前后出现断崖式变化，削弱现有学术诚信政策的执行基础。

检测器依赖训练版本与目标文本之间的词汇分布差异。当厂商发布新版本时，词汇特征发生迁移，检测器学到的判别边界不再对应真实分布，导致边界前高捕获、边界后近乎失效；反向训练也难以覆盖更早版本。因此检测效果取决于版本对齐，而非模型是否由 AI 生成这一稳定属性。

对学术出版和内容平台而言，AI 写作检测不能作为一次性采购的静态能力，需持续用新版本改写样本重新校准，并公开校准版本与误报、漏报率。研发上要建立版本监控与再训练流程，否则检测结果可能对作者造成误判，或让代写内容大量通过。

• 为期刊和会议提供按 LLM 版本持续校准的检测服务，并披露每个版本的误报率与漏报率。
• 开发版本边界监控工具，在新模型发布后自动收集改写样本并触发检测器再训练。
• 把检测结论降级为辅助信号，搭配作者声明与版本化提交记录形成可审计的学术诚信流程。

• 该研究只覆盖三家厂商的 23 个版本，结论能否推广到其他模型和学科领域。
• 商用检测器在边界后漏检的具体版本和机制尚未在证据中完整披露。
• 面向所有 23 个版本同时筛查时，误报与漏报的取舍如何影响实际编辑决策，尚不明确。