可信 RAG：用于检测生成式 AI 系统中错误信息和知识投毒的评估代理

arXiv 上发布了一篇论文，提出一个评估代理，用于检测 RAG 系统中的错误信息和知识投毒。该代理结合自然语言推理事实核查、五信号投毒检测器和信任指数，在 TruthfulQA 和 Llama 3.3 70B 上达到 91% 准确率和 100% 精确率，对指令注入的召回率 100%，但实体替换等就地编辑难以检测。

RAG 系统通常信任检索内容，存在安全与可靠性缺口。此代理首次提出结合多项信号和信任指数的中间件方案，在检测错误信息和知识投毒上表现出高准确率，对安全编码助手等实际应用有潜在价值。

代理通过自然语言推理验证事实，结合五信号投毒检测器（如指令注入等）并加权聚合，形成信任指数。信任指数对高污染环境进行非线性抑制，并在多个 LLM 上保持判别性。但跨数据集泛化需针对特定领域校准阈值，且实体替换等细微编辑难以捕获。

对构建 RAG 应用的产品团队，此代理可作为中间件集成，提升对错误信息和投毒内容的防御能力，但需注意其对细微编辑的检测局限，以及跨数据集时的校准需求。用于安全编码助手等场景可可靠拦截不安全建议的指令注入，但矛盾语义削弱较难处理。

• 在 RAG 系统中集成该评估代理作为中间件，提供事实核查与投毒检测功能，以增强输出可靠性。
• 针对特定领域（如安全编码、医疗）调整信任指数的阈值，提升检测效果。
• 开发基于该代理的监控面板，可视化信任指数与检测信号，帮助用户识别潜在风险。
• 在开源社区发布该代理的基准测试结果，促进更多应用场景的适配与优化。

• 代理在检测实体替换等就地编辑方面的局限是否可通过改进五信号检测器来解决？
• 跨数据集泛化时的域特定校准需要多少标注数据？
• 该代理在不同语言和领域的 RAG 系统上的性能是否一致？
• 信任指数的权重（0.4、0.35、0.25）是否在所有场景下最优，如何自动化调优？