HALLMARK: 诊断LLM引用验证器中的三种失败模式

该研究提出HALLMARK基准，包含2526个BibTeX条目，覆盖14种幻觉类型、三个难度等级和六个诊断子测试，并评估了DOI查找、LLM零样本、工具增强代理及规则验证器。核心发现是假阳性率（FPR）而非召回率决定验证器是否可部署。识别三种失败模式：代理查询提高召回但增加假阳性；FPR数量级差异决定标记质量；大多数LLM在训练截止日期后过度标记，仅最新模型保持低FPR。

此前缺乏共享基准比较LLM引用验证器的失败细节，HALLMARK首次提供了标准化诊断工具，明确指出FPR是部署瓶颈，并揭示agentic查询和模型时效性对假阳性率的实际影响。

代理查询通过外部检索提高召回，但检索噪声导致假阳性增加；在真实引用虚构基准率下，FPR的差异（而非召回）决定验证器输出是否可信；大多数LLM因训练数据截止日期后的知识缺口而错误标记有效引用，仅最新截止日期模型保持低FPR。

若产品集成LLM引用验证，部署时需优先控制FPR，而非追求召回；基于规则的验证器（如bibtex-updater）假阳性更低；代理查询虽能提高召回，但会显著增加假阳性，需权衡；模型选择上应优先使用更新截止日期的LLM。

• 开发基于规则的低假阳性引用验证工具（如bibtex-updater）并集成到学术写作产品中。
• 在LLM写作插件中加入HALLMARK诊断子测试，定期评估引用验证器的FPR表现。
• 针对训练截止日期后的引用，设计专门的超时处理或仅使用最新模型进行验证。

• 如何在实际部署中动态平衡召回率和假阳性率？是否有可调阈值？
• HALLMARK基准是否覆盖非英语文献或特定学科？其诊断子测试通用性如何？
• 未被发现的虚构引用成本远高于假阳性，如何从产品层面量化这一权衡？