用 LLM 作为验证器推理检测模型规范中的不一致

研究者提出 VeriSpec，一种直接审计模型规范文本本身以检测内部不一致的方法。它保留自然语言规范，用 LLM 作为验证器，提取结构化规则并构建主题引导图，聚类同权限层级的行为相关规则，再判断规则间是否存在无法同时满足的冲突。在 OpenAI Model Spec 上提取 405 条规则，人工确认 5 处不一致并已上报，开发者回应积极并启动内部讨论。相比五个基线，其精确率最高（38.5%），每条已验证不一致的成本最低（11.12 美元）。

以往对齐评估多依赖行为测试，难以区分是规范本身有缺陷还是模型行为偏差，而形式化自然语言规范又会丢失细节。VeriSpec 把审计对象从模型行为转向规范文本，提供了与行为对齐评估互补的缺陷发现路径，并已在真实规范上被人工确认和开发者采纳。

其机制是保留自然语言而非形式化，用 LLM 做验证器以保留语义细节；先抽取上下文感知的结构化规则，再按主题建图，把同一权限层级、行为相关的规则聚在一起，只在可比较的规则组内检测冲突，从而降低跨层级误报，并控制每条验证不一致的推理成本。

对制定模型规范、对齐训练和评测流程的团队而言，可在训练前对规范文本做一致性审计，提前发现互相冲突的原则，减少后期行为调试和返工成本。审计流程可纳入规范评审环节，但需人工复核确认结果。

• 将规范一致性审计做成规范评审流程中的检查环节，在版本发布前对新增或修改的原则做冲突扫描。
• 围绕权限层级和主题聚类构建内部规则库，沉淀可复用的规则抽取与冲突检测管线。
• 以每条已验证不一致的成本为指标，比较不同验证器配置，选择成本与精确率平衡的方案。

• VeriSpec 在 OpenAI Model Spec 之外的规范上是否同样有效，证据未说明。
• 人工验证的 5 处不一致具体内容及开发者内部讨论结果尚未公开。
• 38.5% 精确率下误报的处理成本与人工复核负担未给出评估。
• 该方法能否检测非冲突类的其他规范缺陷，如歧义或覆盖缺失，证据未涉及。