先知识后推理：EC-Reason-Bench——无需训练的LLM酶分类诊断基准

论文提出EC-Reason-Bench，一种无需训练的LLM酶分类诊断基准。实验发现通用LLM在完整EC号预测上几乎为零分，而专业模型仍可用；通过分解输出结构、外部知识、推理结构和推理鲁棒性四个杠杆，发现外部知识是决定性因素且必须优先于推理。开放书本设置大幅提升性能，但最佳LLM设置与最近邻投票平均分数相同，该平均掩盖了对抗性证据上的大损失和多功能酶上的同等大损失。

此前LLM被广泛认为具备推理能力，但在酶分类这种层次化知识密集型任务上性能极差，甚至接近零分。本研究揭示了外部知识先于推理的必要性，并提供了一种无需额外训练即可诊断模型弱点的方法，帮助开发者识别模型在何处因缺乏知识而失败。

基准将酶分类能力分解为四个正交杠杆：输出结构、外部知识、推理结构和推理鲁棒性，分别用推理时方法测试。发现封闭书设置下性能极低，而开放书（提供外部知识）设置性能大幅提升；链式思考等推理策略的效果取决于模型是否倾向于拒绝回答；最佳LLM聚合得分与最近邻投票平均相同，但隐藏了对抗性证据和多功能酶上的显著差异。

直接指导AI产品在层次化知识分类任务中优先集成外部知识检索，而非依赖LLM内置知识；需要关注单一平均指标掩盖的对抗性风险和多功能情况；促使研发团队在推理流程中设计知识获取阶段先于推理阶段。

• 开发结合外部知识库的酶分类助手，利用开放书本提升四层EC号准确率
• 设计对抗性证据集用于测试LLM在误导信息下的鲁棒性
• 在通用LLM中集成检索增强生成（RAG）以提升层次化分类任务性能

• 实验所用的“several strong reasoning LLMs”具体是哪些模型？
• 对抗性证据集的具体构造方式和参数是什么？
• 多功能酶（multi-func）上的具体损失值是多少？
• 该诊断基准能否推广到其他层次化知识分类任务（如基因本体）？