代理对抗代理：自动化提示注入红队测试的代理系统

一篇论文介绍PIMiner，一种用于自动提示注入红队测试的代理系统。它在训练时从零构建策略库，测试时无需再训练即可迁移到未见过的大语言模型，每次测试仅需少量查询。实验显示，在AgentDojo上对Gemini-2.5-Pro的攻击成功率达86.7%，对GPT-5.1达53.3%，对Claude-Sonnet-4.5达40.0%。

现有提示注入红队方法多依赖强化学习，攻击模型对新目标泛化差。PIMiner首次展示策略库可直接迁移至未见模型，无需再训练，且查询效率高，显著提升红队测试的效率和可扩展性，为评估和防御数据收集提供新路径。

PIMiner在训练时面对多个（数据集，目标模型）对，逐步构建策略库，将成功提示注入策略泛化并存储。测试时，该库直接应用于新目标模型，只需少量查询即可生成攻击，从而在未见过模型上保持高攻击成功率。

对AI产品团队，可采用类似方法自动生成对抗样本，评估自身模型安全漏洞，并收集训练数据以强化防御。该技术可融入红队工具链，降低人工成本，缩短测试周期，但需注意其攻击能力可能被滥用，需配套使用。

• 集成类似PIMiner的自动化红队测试工具到模型评估流水线，持续检测新模型的安全漏洞。
• 利用其迁移特性，快速评估第三方或自研新模型，无需重新训练攻击器，节省时间和计算资源。
• 收集高成功率提示注入样本作为训练数据，提升LLM agent对注入攻击的鲁棒性。
• 开发安全测试SaaS平台，为多模型提供标准化、低成本的提示注入测试服务。

• PIMiner在不同语言和复杂业务场景中的泛化能力未由证据确认。
• 策略库的维护和更新机制未在证据中说明。
• 对GPT-5.1和Claude-Sonnet-4.5的较低成功率是否反映模型抗性差异，证据未提供分析。
• 小样本（10次查询）的稳定性与方差未在证据中报告。