Lluna：面向模态缺失推理的协作式单模态模型

论文 Lluna 研究多个预训练单模态模型协作进行多模态预测时，一旦部分模态缺失，协作结果可能反而不如保留下来单个模型。作者用固定锚点诊断发现，输入消失会让协作收益减弱甚至反转，并观察到模态特有信息恢复不足。Lluna 由此提出私有预测路径与图协作残差修正相结合，并在八个数据集上平均优于最强基线 4.26%。

此前多模态协作通常默认模态齐全，论文指出模态缺失下协作收益会衰减甚至转为负向，且锚点输入未变也会受影响。这意味着多模态系统的鲁棒性评估需要按缺失程度分层，而非只看完整输入时的平均表现。

Lluna 让适配后的单模态特征走一条直接私有预测路径，保留各自模态信息；再由图协作分支输出残差修正，避免聚合过程抹掉模态特有信息。渐进协作一致性沿单模态逐步移除，将信息较丰富时的归一化公共表示对齐到信息较少的情形，使预测随可用证据调整。

对依赖多模态输入的研发团队来说，这提示不应假定补齐模态越多效果越好，需按模态缺失组合分别评估。Lluna 的私有路径加残差修正结构可作为工程参考：在保留单模态兜底能力的同时，用协作分支补足信息，降低因某一路输入失效导致的可用性下降。

• 在涉及图像、文本或生理信号的多模态产品中，按模态缺失组合建立分层评测集，识别协作收益反转的边界。
• 为已有单模态模型链路增加可开关的协作残差分支，使模态不全时仍能退回单模态预测。
• 参考论文诊断方法，对固定锚点模型做输入移除实验，量化自身系统中协作与独立预测的取舍。
• 复现 Lluna 在 GitHub 上的代码，先在公开数据集验证 Mean-Missing 指标再考虑迁移到业务场景。

• Lluna 在真实业务数据分布与标注噪声下是否仍保持报告中的增益，尚未验证。
• 论文只给出八个数据集的平均结果，未说明各数据集单独增益的波动范围与失败案例。
• 该方法对模态缺失比例的假设与训练时缺失模式是否一致，证据中未明确。
• 私有路径与协作分支的计算开销相对单模态基线增加多少，证据未提供。