小红书开源 BigMac：多模态模型训练的新流水线范式

小红书技术团队开源 BigMac，一种针对多模态大模型训练的依赖安全嵌套流水线新范式。它利用 LLM 流水线作为主干，在不打乱执行顺序的前提下嵌入编码器和生成器计算，相比基线实现 1.08x-1.9x 加速，同时保持激活显存有界。BigMac 已作为 dots 多模态模型训练的核心组件投入生产。

传统多模态训练常因流水线调度导致计算等待或内存爆炸，BigMac 通过“依赖安全嵌套”在不打断原有顺序下嵌入新计算，既能稳步加速又控制显存，对资源有限的团队更具实用性。

BigMac 以 LLM 流水线为主干，将编码器和生成器计算安全地嵌套到流水线间隙中，确保所有依赖顺序不变，从而避免重新排序带来的额外开销。这种方式使整体训练吞吐量提升，同时保持激活显存有界，避免了多模态场景下常见的内存溢出问题。

适合训练多模态大模型的研发团队，尤其需要混合 LLM、编码器和生成器计算的场景。使用 BigMac 可加速训练过程（1.08x-1.9x），且显存可预测，减少调试时间和硬件扩容需求。

• 在自己的多模态模型（如图文生成或视频理解）上替换原有流水线，对比 BigMac 与基线的训练吞吐和显存峰值。
• 尝试将 BigMac 集成到现有训练框架（如 Megatron-LM 或 DeepSpeed）中，验证不同规模和硬件的加速效果。

• BigMac 的开源协议是什么？是否允许商业使用？
• 支持哪些多模态模型架构（如 LLaVA、Flamingo 等）？
• 最低硬件要求（GPU 类型、数量、显存）是多少？
• 是否提供与主流框架（如 Hugging Face、PyTorch FSDP）的兼容性说明？