前沿大模型规则评估中“异常链崩溃”故障的发现与神经符号解决方案

arXiv 论文报告前沿大语言模型在嵌套条件规则评估中存在“异常链崩溃”故障，且模型准确性会无通知地漂移（如 GPT-5.4 从 96.6% 升至 100%）。作者提出 Aethis Eligibility Module，一种神经符号架构，让 LLM 从权威源编写规则，再由 SMT 层确定性执行。在 225 个场景基准、20 个对抗用例和 9 个 LegalBench 任务（949 例）中，该引擎准确率显著优于三个前沿模型（McNemar p≤0.003）。

此前认为前沿 LLM 在规则理解上足够可靠，该发现表明模型在复杂嵌套规则下存在系统性失败，且准确性会无版本变更地自行变化，这对监管合规领域（如保险、法律）构成不可预见的合规边界漂移风险，质疑了直接使用 LLM 进行关键规则判断的可靠性。

异常链崩溃源于 LLM 在处理多重条件覆盖（如“只要B例外，除非C覆盖B”）时无法维持异常链的一致性。模型对提示格式、推理努力等表面因素敏感，导致同一模型别名下不同日期的表现波动。神经符号方法将规则编写与执行分离：LLM 仅负责从权威文本中提取规则，SMT 求解器则基于逻辑公式进行确定性推理，不受模型漂移影响。

对于依赖 LLM 进行保险理赔审核、合同合规检查等产品的团队，必须警惕模型准确性不可预测的漂移风险，可能需要引入规则引擎或混合架构来保证输出稳定性，否则会面临合规审计失败和业务损失。同时，开发 LLM 驱动规则系统的成本将增加（需要额外验证层或神经符号组件）。

• 构建基于神经符号架构的智能合规引擎，借鉴 Aethis 模式，让 LLM 生成规则再由 SMT 引擎执行，用于保险、法律等领域。
• 为现有 LLM 评估产品增加规则退化监控仪表盘，定期用对抗性案例测试模型在复杂嵌套规则下的表现，提前发现漂移。
• 开发开源 benchmark 套件（类似 Aethis 的 225 场景），帮助团队在采购或使用前沿模型前评估其在特定规则域上的稳定性。

• Aethis 的 SMT 引擎是否能高效扩展到更复杂的规则集（如跨文档引用的例外条款）？
• 除了嵌套规则，LLM 在其他结构化推理任务上是否存在类似的无声崩溃模式？
• 论文中 GPT-5.4 为何在 2026 年 3-4 月间自行修复问题？是模型更新还是推理配置变化？
• 神经符号方案与纯 LLM 方案在端到端延迟和开发维护成本上的对比数据尚未公开。