SPLASH：在 LLM 服务中无缝切换注意力并行布局

研究者提出并命名 SPLASH 的服务系统，可在请求持续运行期间切换注意力的并行布局，而非像现有服务引擎那样在启动时固定一种布局。其基础观察是：在 KV head 很少或没有的现代注意力中，请求的 KV cache 所在位置与注意力权重如何分片是解耦的。SPLASH 复用大部分已有状态、在推理后台迁移其余状态，并在 batch 边界完成交接，切换中位开销低于所在 step 的 0.51%。

此前服务引擎在启动时固定并行布局，因为换布局需要排空请求并重启 worker，导致低并发、大量独立请求、长 prompt 以及推理、agentic、RL-rollout 等混合负载无法随负载变化调整。SPLASH 让布局可在同一批请求运行中改变，把原本的停机式切换变为近乎免费的在线操作。

现代注意力中 KV head 数量很少甚至为零，使请求 KV cache 的存放位置与注意力权重的分片方式相互独立。因此不同布局的差异只在于谁拥有权重和缓存，而大部分状态已位于下一布局所需位置，SPLASH 直接复用，其余部分在推理进行时后台搬运，并在 batch 边界交接。该解耦还暴露出一种现有引擎缺少的布局 Decoupled Ownership Parallelism（DOP），它像 tensor parallelism 一样分片注意力权重，同时像 data-parallel attention 一样把每个请求的 cache 保留在单一 owner 上。

对 LLM 服务系统而言，调度器在 KV 内存限制 admission 时多了一个可选项，可在不排空请求的情况下改变注意力并行方式。证据称 DOP 不复制权重也不复制缓存，比 data-parallel attention 多出 27-60% 的 KV 容量，这直接影响可并发处理的请求量、长上下文与长输出场景的容量规划和单位推理成本。

• 在自建 LLM 推理服务中评估引入 SPLASH，按并发与 prompt 长度动态切换注意力并行布局，替代启动时固定布局。
• 针对 RL-rollout、agentic 等短请求转长请求的负载，测试 DOP 布局以提升 KV 容量，缓解 KV 内存对 admission 的限制。
• 在服务引擎的调度层增加布局状态迁移与 batch 边界交接能力，验证切换开销是否稳定低于单个 step 的 0.51%。

• 摘要仅给出单条证据且文本被截断，SPLASH 的完整实验设置、基线对比与端到端吞吐或延迟收益未被确认。
• 中位开销 0.51% 是最坏情况还是平均值、在不同模型规模与硬件上是否稳定，证据未说明。
• DOP 的 27-60% KV 容量提升对应的具体模型、序列长度和 batch 配置未在证据中给出。
• SPLASH 是否已开源或集成进主流服务引擎，以及 online 切换在真实生产负载下的稳定性，尚待确认。