RuleTrek：复杂场景下智能体规则推理基准评估

这篇论文提出 RuleTrek，一个面向复杂场景下 agentic rule reasoning 的多领域基准。它通过规则图谱构建流程，从结构化规则图中生成并增量拼接子场景，评估 Rule Identification、Rule Deduction 和 End-to-End Rule Reasoning 三项能力。对 11 个前沿 LLM 的实验中，RI 与 RD 最高分仅为 62.47% 和 60.43%，E2E 得分在 26.97% 至 55.29% 之间。

已有规则推理基准通常只用少量事实陈述描述场景，弱化了从分散文件中识别并应用规则这一核心难点。RuleTrek 把场景信息分散到多文件交互工作区，并将规则推理拆成三项可分别测量的能力，使评估更接近真实专业场景中的规则使用过程。

RuleTrek 先用规则图谱抽取出结构化规则关系，再据此生成规则专属子场景并逐步组合，同时校验场景一致性与可解性。评估在交互式工作区中进行，要求模型先定位适用规则、再进行推理，最后完成端到端任务，因此分数差异可归因到规则识别与规则演绎两个环节。

若产品需要让 AI 处理合同、合规、运维手册或内部制度等分散文档，RuleTrek 提示规则识别往往是薄弱环节，不能默认模型直接给出正确结论。产品设计应保留规则来源与定位结果供人工核验，并针对多文件场景增加检索、规则抽取和逐步推理环节，而非只优化最终答案。

• 在合规、合同或运维类 AI 产品中，增加规则识别结果的展示与人工确认步骤，降低误用规则风险。
• 针对多文件规则场景，构建规则图谱抽取与子场景测试集，用于模型选型和上线前回归评估。
• 面向端到端规则推理得分偏低的情况，设计先定位规则再执行的多步工作流，而非单轮问答。
• 将 RuleTrek 的三项能力指标纳入内部评测，按 RI、RD、E2E 分别定位模型短板。

• RuleTrek 的规则图谱构建流程是否能覆盖真实企业文档中的隐含规则与冲突规则？
• 11 个受测 LLM 的具体名单、版本和测试配置未在证据中给出。
• E2E 分数区间较大，证据未说明不同领域或不同场景复杂度下的分数分布。
• 将 RuleTrek 用于产品评测时，其数据集与真实业务文档的分布差距尚不明确。