从零开始扩展原生多模态预训练的缩放规律研究

研究者系统研究了原生多模态预训练在固定计算预算下的缩放属性，发现最小目标损失符合可预测的计算律，而计算最优的模型大小和令牌数按幂律缩放。语言和多模态目标呈现不同缩放行为：语言分配律对数据组成几乎不变，多模态分配律高度敏感，文本密集混合在更大模型规模下更高效。通过建模数据组成影响，推导出效率前沿以指定模型大小、令牌数和数据混合的精确配置。

此前原生多模态预训练的缩放属性未被系统表征，该研究首次揭示了语言与多模态目标的不同缩放行为，并量化了数据组成对计算效率的影响，为多模态模型训练的资源分配提供了可预测的指导。

语言分配律对数据组成几乎不变，表明语言学习在多模态数据比例变化时保持稳定；多模态分配律则高度敏感，文本密集混合在更大模型规模下才变得计算高效，从而促使最优资源配置向更大模型容量偏移。通过建模数据组成对计算律和分配指数的影响，可导出效率前沿。

团队可根据效率前沿为多模态模型训练精确配置模型大小、令牌数和数据混合，优化计算资源利用，避免低效配置。这有助于降低研发成本或提升模型性能，尤其对需要处理文本与视觉混合数据的应用研发有直接参考价值。

• 该缩放规律是否适用于图像/视频等多种模态类型？
• 下游评估的具体任务和性能提升幅度尚未公开。
• 效率前沿在不同硬件架构下是否仍然有效？
• 是否存在数据组成之外的变量影响缩放行为？