双对抗微调：增强大型视觉语言模型鲁棒性

arXiv AI 发表论文提出双对抗微调框架，针对大型视觉语言模型（如 LLaVA、GPT-4V）视觉输入易受对抗性攻击的问题，联合优化视觉与语义监督信号，增强模型鲁棒性。该方法通过替换 CLIP 视觉编码器实现跨零样本分类、图像描述和 VQA 任务的泛化，无需任务特定重训练，实验表现优于现有防御方法。

此前对抗防御主要针对单任务场景，缺乏多模态多任务泛化能力。该框架首次在不修改架构的前提下，同时提升零样本分类、图像描述和 VQA 任务的抗攻击性能，为部署安全的视觉语言产品提供更实用的方案。

方法包含两个分支：视觉监督分支利用冻结的原始视觉编码器提取干净图像特征来引导鲁棒性；语义监督分支通过图像-标题对齐保持攻击下的语义一致性。两者联合微调，使模型对不同下游任务产生通用防御能力，仅需替换 CLIP 编码器即可适配原有模型。

对使用视觉语言模型的产品（如图像问答、内容审核、辅助视障应用），可直接用此框架替换现有 CLIP 编码器来增强安全性和韧性，减少对抗性输入导致的误判风险，但需评估微调带来的计算资源和推理延迟开销。

• 为图像问答产品集成该防御微调，降低恶意对抗样本引发的错误输出。
• 在视觉内容审核系统中部署该框架，提高对刻意篡改图片的防御能力。
• 在自动化图像描述生成服务中应用，确保攻击下描述语义连贯性。

• 该方法在真实业务场景中是否维持与实验相当的鲁棒性？
• 微调后模型在干净样本上的原始性能是否有显著下降？
• 替换 CLIP 编码器后是否需要额外适配其他视觉架构？
• 训练和推理的计算成本相比原生模型增加多少？