针对多跳RAG智能体的显著性诱导：威胁与防御

该论文发现了一种针对多跳RAG智能体的新型攻击“显著性诱导”，通过调整真实事实的位置、强调和语义接近性来误导推理，无需注入假事实或指令。在30%编辑预算下攻击成功率达83.3%，最强基线防御后仍达75.7%；提出的防御方法Salience Normalization将攻击成功率降至15.3%（标准攻击）和23.6%（自适应攻击）。

此前攻击主要依赖虚假内容或提示注入，而本研究揭示即使检索的全部信息为真且无恶意指令，仅通过改变信息呈现方式也能操纵多跳推理，威胁更隐蔽且现有防御（内容真实性、指令过滤）基本无效。

显著性诱导通过修改事实在上下文中的位置、强调词、框架等维度，改变模型对属性绑定的注意力分配，使模型错误地将属性关联到非目标实体，同时保持检索内容和语义完整性，属于“真话但误导”的机制。

对采用多跳RAG架构的产品（如企业知识问答、报告生成）构成直接风险，现有输入校验和内容审核无法防御；需增加输入侧显著性归一化预处理，可能带来额外计算开销，但可大幅降低攻击成功率。

• 集成论文提出的Salience Normalization作为输入预处理模块，对用户查询和检索文档进行显著性重排以消除潜在操控
• 针对自有RAG系统进行显著性诱导压力测试，评估不同模型和智能体架构的脆弱性
• 开发基于注意力分布的可解释性工具，实时检测异常注意力偏移以预警攻击

• Salience Normalization对非英语语言或特定领域（如医学、法律）的泛化性如何？
• 是否存在更高效的自适应攻击绕过该防御？
• 显著性诱导在单轮RAG而非多跳场景中是否同样有效？
• 攻击所需编辑预算（30%）在实际恶意场景中是否容易被自动化实现？