MoE-ViE：用于高效图像与视频理解的混合专家视觉编码器

Facebook Research 团队提出 MoE-ViE，一种用于图像和视频理解的混合专家视觉编码器。该系统研究了多种 MoE 设计，发现细粒度 MoE 拓扑优于密集和标准 MoE。他们提出了无辅助损失的平衡变体、专用 MoE 内核以及帧级蒸馏与冻结机制。预训练了一系列尺寸的 MoE-ViE，均优于密集对应版本。最大模型在匹配 SOTA 编码器零样本性能的同时，延迟仅为后者的 76%。与 LLM 对齐后，在图像和视频基准上超越所有对比编码器，包括激活参数多 5 倍的模型。

此前视觉编码器扩展主要依赖密集架构，增加参数会带来更高计算成本和推理延迟。MoE-ViE 表明，在视觉编码器中应用细粒度混合专家设计，可以在保持性能的同时降低延迟，为高效多模态模型提供了新路径。

混合专家架构通过条件计算，仅激活输入相关的专家子集，从而在增加总参数量的同时控制计算量。细粒度 MoE 拓扑将专家切分得更小，提高了组合灵活性。无辅助损失平衡变体避免了额外训练目标，专用内核减少了稀疏计算的延迟开销。帧级蒸馏和冻结机制在增强视频能力的同时保留图像知识，实现多任务兼顾。

对于集成视觉语言模型的产品，MoE-ViE 可降低推理成本和延迟，提升用户体验，尤其适合视频理解等计算密集型场景。研发团队可参考其设计，在保持模型性能的同时优化部署效率，减少对高端硬件的依赖。

• 在图像和视频理解产品中引入 MoE-ViE 作为视觉编码器，以降低推理成本并提升响应速度。
• 基于 MoE-ViE 的代码库开发定制化的视觉特征提取服务，支持多尺寸模型按需选择。
• 将 MoE 设计原则应用于企业内部的视觉模型优化，减少服务器资源消耗。

• MoE-ViE 的训练成本与数据要求未被提及，需要更多数据。
• 该模型在真实产品场景中的端到端效果尚未有独立验证。
• 与现有主流视觉编码器（如 CLIP）的详细对比缺失，需进一步评估。