开放域问答中推理的无参考评估

该研究提出一种无需参考答案的推理审计框架，通过将LLM生成的推理轨迹分解为片段，利用自然语言推理(NLI)标记片段间的局部前提-目标关系并构建超图，再执行确定性反向AND-OR搜索来分配片段级审计标签。在数学推理基准Hard2Verify和医学推理基准UroReason上测试，该框架比直接使用LLM作为评判更可靠，能识别出流畅但推理薄弱的回答。UroReason数据集将通过API开放，代码也将开源。

此前评估开放域问答通常依赖参考答案或LLM直接评判，后者易被流畅但推理薄弱的回答欺骗。本方法不依赖参考答案，通过细粒度分解推理轨迹实现更可靠的自动审计，尤其适用于医疗等高风险领域，为LLM输出的可信度验证提供了新路径。

方法将生成的推理轨迹分解为多个片段，使用NLI判断每个片段与前提之间的蕴涵关系，将这些关系组织成超图结构，然后通过反向AND-OR搜索算法确定每个片段的审计标签（如正确、错误、无关等），从而量化整个推理过程的质量。

该框架可集成到基于LLM的应用中作为自动质量监控模块，尤其在医疗、法律等需要严格推理验证的场景，能减少人工审核工作量，提升对模型输出的信任度。但当前为研究阶段，距产品化需考虑计算成本和API集成复杂度。

• 开发面向医疗问答系统的推理审计插件，调用UroReason API或自建同类模型。
• 将开源代码集成到LLM评估平台（如LangSmith、Weights & Biases），提供可视化推理质量报告。
• 基于该框架构建自定义审计服务，按调用量收费，面向企业级LLM应用。

• 该框架在非英语语言推理轨迹上的表现如何？
• 处理超长推理轨迹时的计算开销和延迟是否可控？
• UroReason API的具体定价、访问限制和数据隐私政策？
• 与商业审计工具（如Guardrails）相比的实际成本和性能差异？