多模态自动事实核查动态评估的污染问题新发现

研究者针对多模态自动化事实核查（MAFC）的评估污染问题，构建了动态基准ClaimReview2025Q4并进行实验。发现动态评估虽减少污染但未完全消除，17.09%–29.30%的截止日期后声明仍可被LLM内部知识验证；污染可导致Macro-F1虚高11.34分并扭曲系统排名。研究提供了可信评估的实践指南。

此前认为收集LLM知识截止日期后的声明即可实现无污染评估，但研究表明即使声明发布时间晚于截止日期，仍有两到三成可通过公开知识直接或综合验证，这意味着动态评估的“无污染”假设不成立，行业对事实核查模型真实能力的判断可能被高估。

污染机制在于：尽管声明发布日期晚于LLM的训练数据截止日期，但声明内容可能由此前已公开的多个事实片段综合得出，LLM凭借内部知识即可完成验证，无需真正依赖外部证据检索，从而造成性能膨胀。

事实核查系统开发者在选用或构建评估基准时，必须引入更严格的污染控制流程（如过滤可被内部知识直接验证的声明），否则模型横向对比结果可能失真，误导研发投入方向。

• 如何设计能彻底消除污染的动态评估方法？
• 不同领域的声明（如政治、科学）污染率是否有显著差异？
• 当前最强LLM在严格污染控制下的实际MAFC性能究竟如何？
• 该研究提供的实践指南具体包含哪些可操作步骤？