结构感知鲁棒微调：防御物理注意力劫持攻击的视觉-语言-动作机器人

arXiv 论文提出结构感知鲁棒微调（SARF），针对视觉-语言-动作（VLA）策略易受物理对抗补丁攻击的问题。该攻击通过动作到视觉注意力劫持机制导致任务失败。SARF 仅微调视觉编码器，在 LIBERO 模拟中将 OpenVLA 在攻击下的失败率从 100% 降至平均 28.6%，在真实 PiPER 机械臂上平均成功率从 23.0% 提升至 65.0%。

此前 VLA 策略在物理世界攻击面前的脆弱性缺乏针对性防御方案。该研究首次提出并验证机制级防御方法 SARF，在真实机械臂上显著提升攻击下的成功率，同时保持干净性能，为 VLA 机器人的安全性提供了一条可实践路径。

攻击利用策略关键的动作到视觉注意力劫持机制，将注意力从任务相关区域转移至局部补丁，并破坏视觉-语言语义对齐。SARF 通过特征锚定、策略关键注意力修正和语言引导的几何一致性，仅微调视觉编码器，在不增加推理开销的情况下纠正注意力分配，从而提升鲁棒性。

SARF 为零推理开销的防御方法，可低成本集成到现有 VLA 机器人产品中。在真实机械臂上，AGSD 攻击下平均成功率从 23.0% 提升至 65.0%，显著增强产品在对抗环境下的可靠性，同时保持干净环境性能，有利于提升用户信任。

• 将 SARF 防御模块集成到 VLA 机器人控制系统中，增强对抗物理补丁攻击的鲁棒性。
• 开发基于 SARF 的视觉编码器微调服务，为机器人厂商提供安全性升级方案。
• 在机器人安全测试流程中引入 AGSD 攻击评估，作为产品上市前的标准安全验证环节。

• SARF 在更多真实环境（如非实验室场景）下的鲁棒性未验证。
• AGSD 攻击在物理世界中的实际可部署性（打印补丁尺寸、放置位置等）未详细说明。
• SARF 对其他 VLA 模型（除 OpenVLA 外）的适用性未给出证据。