渐进式多模态对齐用于持续指令微调

论文提出渐进式多模态对齐（PMA）框架，用于解决多模态大模型在持续指令微调（MCIT）中投影器（projector）层的遗忘问题。PMA通过轻量级表征描述符检测多模态分布偏移，按需扩展投影器专家，并保留原始预训练投影器作为稳定锚点，实现了子线性参数增长。实验表明，缓解投影器层遗忘能持续提升MCIT性能，且PMA可跨多种MLLM骨干适用。

以往MCIT方法主要关注LLM骨干的遗忘，忽视了投影器层的分布漂移导致的对齐遗忘。PMA首次系统解决了这一被忽视的问题，并通过渐进扩展机制在适应新任务时保持已学对齐，同时参数增长仅为子线性，实现了稳定性与可塑性的更好平衡。

PMA利用轻量级表征描述符实时检测多模态输入分布与已学分布的偏移；当偏移超过阈值时，动态扩展新的投影器专家，并通过可扩展路由器根据多模态特征整合专家输出，同时固定原始预训练投影器作为对齐锚点，从而在连续学习中避免遗忘已学跨模态对齐。

PMA作为方法无关的附加组件，可直接集成到现有MLLM的持续微调流程中，降低因业务数据分布变化导致的模型性能衰减，减少重复全量微调的成本；其子线性参数增长特性使其适用于资源受限的设备端或边缘部署场景。

• 将PMA集成到多模态对话系统的持续学习模块中，使模型在部署后能增量学习新领域图像与指令。
• 基于PMA的轻量级分布检测机制，开发自动化数据漂移告警与模型热更新工具。
• 在跨模态检索产品中应用PMA，使检索模型能够在添加新类别数据时保持原有对齐能力。

• PMA在实际大规模生产环境（如千万级用户交互数据）中性能表现如何？
• PMA是否适用于除图像-文本外的其他模态（如视频、音频与文本的对齐）？
• 渐进扩展的触发阈值在不同任务下是否需要人工调节，有无自适应方案？
• PMA与现有基于回放或正则化的MCIT方法结合后效果是否有进一步提升空间？