LLMs能见烟却不见火：使用Elenchos评估溯因推理

研究者提出Elenchos框架，将溯因推理作为结构逆问题测试LLM。在lambda演算等系统上，模型能检测系统是否被修改（“看到烟”），但难以推断具体突变规则（“看不到火”），尤其当多个突变相互作用时表现更差。增加推理时间对提升归因能力效果有限，该结论尚需进一步验证。

该研究首次系统量化了LLM在深层因果推理上的检测-归因分离，揭示模型可能仅停留在表面模式识别，无法真正理解变化根源。这挑战了将LLM直接用于根因分析等复杂推理任务的可靠性预期。

溯因推理要求从观察到的行为差异反向推断隐藏的规则修改，本质是一个结构逆问题。Elenchos借助形式系统（如λ演算）提供可验证的基准，分别测量检测（是否感知变化）和归因（识别具体修改）能力，从而暴露两类能力的不对称性。

在依赖LLM进行根因分析、代码调试或异常归因的产品中，模型可能错误标记异常但无法定位原因，导致误判。研发团队需引入显式推理校验步骤或外部验证系统，不能直接信任模型的归因输出。

• 为根因分析工具添加符号推理层，在LLM初步检测后使用规则引擎或形式验证精确定位突变
• 开发基于Elenchos的评估套件，定期测试模型在特定业务场景下的溯因推理一致性
• 在LLM查询中嵌入结构化提示（如要求分步解释因果链），以缓解检测-归因脱节问题

• 推理时间收益递减的结论是否在更多模型和任务上成立？
• 当前发现对现实世界代码或系统（非形式化）的溯因推理有多大代表性？
• 是否存在训练策略（如逆问题预训练）能系统性改善归因能力？