PFAdapter：用于个性化联邦多模态大模型的层次化LoRA分解

PFAdapter是一种通信高效的联邦学习框架，通过层次化LoRA分解将适配器参数显式分为全局共享和本地私有组件。查询和键投影用于全局同步以捕获通用多模态语义，值和输出投影保持本地以适应边缘设备。正交正则化强制组件分离，选择性聚合仅同步全局部分，通信成本降低约50%。在VQA-RAD、SLAKE等数据集上进行了实验。

传统联邦协议统一参数聚合会混淆全局与本地特征，导致个性化不佳且通信开销大。PFAdapter通过显式分离组件，保留本地专业知识，减少冗余学习，同时将通信成本降低近50%。

利用低秩分解将适配器分为全局共享（Q/K投影）和本地私有（V/O投影）部分，通过Frobenius范数正交正则化防止特征重叠，仅同步全局组件以兼顾知识聚合与本地适配。

在边缘设备上部署多模态大模型的联邦微调场景中，PFAdapter可显著降低通信开销（近50%），同时提升个性化性能，适用于数据异质性强的分布式网络环境。

• 为边缘端医疗影像诊断（如VQA-RAD）开发个性化联邦学习方案，利用PFAdapter减少通信成本并适配本地数据分布。
• 在社交媒体内容审核（如Hateful Memes）等场景，使用PFAdapter实现云端与边缘协同的个性化模型微调。
• 面向物联网设备的多模态推理，采用层次化LoDA分解实现参数高效训练与低延迟个性化更新。

• PFAdapter在真实网络节点上的端到端延迟与能耗表现如何？
• 相较于其他个性化联邦方法（如FedAvg+微调），在精度上的定量提升幅度未提供。
• 正交正则化的超参数如何影响全局-本地平衡？是否有通用设置？
• 框架对其他多模态任务（如视频理解）的适用性尚未验证。