AGO AI 质量门：面向 RAG 的证据优先发布决策

该论文介绍 AGO AI Quality Gate，一个面向企业 RAG 系统发布的证据优先质量门框架，包含四态决策模型、分层评分、分层 beta-binomial 门槛与强制元评估协议。团队在 RAGBench 的 10 万条标注轨迹上评估评审层：低成本 gpt-4.1-nano 的 AUROC 仅 0.603，gpt-4o 达 0.783；回归场景下该方案将不安全上线率从 29.3%-41.8% 降至 22.2%-35.1%。

此前企业上线 RAG 版本多依赖 LLM 评审分数直接拍板，却缺少对评审器本身质量的验证。该工作把缺失数据与评审错误显式建模为决策结果，并要求先对 LLM 评审器做元评估，这使发布决策从单点评分转向可量化风险的概率判断。

机制上，AGO 先用确定性检查与本地守卫做基础过滤，再引入结构化 LLM 评分，并用分层 beta-binomial 模型量化回归风险，从而把评审器误差纳入门槛计算。由于同一评审器在不同领域表现差异大（0.62 至 0.88），框架要求每个项目单独测量评审质量，而非复用固定阈值。

对 RAG 产品团队而言，这意味着版本上线不能只看平均分，需要为不同领域分别校准评审器并设置概率化回归门槛。低质量评审器即使输出格式完美也可能接近随机，选型与成本分配需要重新评估；同时需预留元评估流程与回归测试样本集的建设成本。

• 在 RAG 发布流程中增加评审器元评估环节，按业务领域分别验证 AUROC 后再允许其参与上线决策。
• 构建分层 beta-binomial 回归风险仪表盘，将不安全上线率与误报成本作为版本发布的可视化门槛指标。
• 针对低成本模型评审能力不足的问题，建立按领域路由的多评审器策略，在高风险领域使用更强模型。

• AGO 在工业场景中的具体部署效果未披露，公开结果仅来自 RAGBench 的评审层评估。
• 四态决策模型与分层评分的消融贡献尚无逐项数据支撑。
• 22.2%-35.1% 的不安全上线率是否满足实际业务容忍度尚不明确。
• meta-evaluation 协议的执行成本与频率在证据中未被量化。