MiMo-V2.5系列全流水线推理优化：极限提升混合SWA效率

MiMo-V2.5模型家族采用混合滑动窗口注意力、稀疏专家混合和多模态编码器。本文提出全流水线推理优化，包括分层预取、SWA感知缓存树和放置策略实现严格O(W)存储；构建RDMA优化的分布式缓存GCache和KVCache亲和性路由器；多模态方面优化GPU图像预处理、并行视频解码和缓存共享。这是首个在大规模生产环境中覆盖上述复合架构的LLM服务系统。

此前混合SWA虽理论上可显著降低注意力和KV缓存开销，但工程落地困难。该工作首次在混合SWA+MoE+多模态复合架构上实现大规模生产级推理优化，将理论潜力转化为实际效率提升。

混合SWA通过限制注意力窗口降低计算和缓存占用，但需高效管理KV缓存。分层预取和SWA感知前缀缓存树提升缓存命中；专门放置策略实现O(W)存储；分布式GCache利用RDMA加速跨节点访问；亲和性路由减少冗余计算；多模态缓存共享与并行解码降低预处理延迟。

降低推理延迟和显存占用，支持更长上下文和多模态输入；提高吞吐量并降低每token成本；使实时视频理解、长文档问答、多模态助手等产品更经济可行。

• 利用长上下文能力构建实时视频会议字幕与问答产品
• 推出基于共享多模态缓存的低延迟对话API服务
• 开发面向智能客服的长文档与图文混合推理方案

• 论文是否公开了该优化在生产中的具体加速比或成本节省数据？
• 该优化是否兼容开源模型，如LLaMA或Vision Transformer？
• KVCache亲和性路由器是否支持动态迁移以适应负载变化？