FlashPrefill V2：面向长上下文 LLM 服务的块稀疏预填充注意力

FlashPrefill V2 将 FlashPrefill 从算法原型推进到可投入生产的长期上下文 LLM 服务。它引入均值修正项抑制近似误差，采用 PackGQA 内存访问、warp specialization 和 pingpong pipelining 重新设计稀疏注意力算子，兼容 FlashAttention-3/4 并支持 FP8 推理，原生支持 paged KV cache 和 continuous batching，可集成到 SGLang 等推理框架。在 NVIDIA H20 GPU 上，128K 上下文长度下，FP8 和 BF16 精度相比 FlashAttention-2 分别带来最高 47.26 倍和 27.19 倍加速；FP8 下相比 FA3/4 对齐的密集基线仍达到 30.49 倍加速。

FlashPrefill V2 将先前仅停留在算法原型的稀疏注意力方案推进到生产可用阶段，通过算子重设计和对现代推理框架（如 SGLang）的原生支持，显著缩短了从研究到部署的距离，为长上下文场景提供了高性能、可落地的注意力后端选项。

FlashPrefill V2 通过均值修正项抑制稀疏近似带来的误差，从而在极高稀疏度下维持可接受的性能。同时，算子设计对齐 FlashAttention-3/4，并利用 PackGQA 内存访问、warp specialization 和 pingpong pipelining 优化 GPU 利用率。对 paged KV cache 和 continuous batching 的支持使其能无缝嵌入现代推理框架，以较低量化精度（FP8）实现推理加速。

对于提供长上下文 LLM 服务的产品，采用 FlashPrefill V2 作为注意力后端可能显著降低预填充阶段的延迟和计算成本，尤其在 128K 以上上下文场景。它支持 FP8 量化和 SGLang 等框架集成，意味着可在不修改整体架构的情况下替换现有注意力实现，提升吞吐和响应速度。

• 在 SGLang 或自研推理框架中集成 FlashPrefill V2 作为可配置的注意力后端，为长上下文场景提供加速选项。
• 针对 128K 以上上下文、对延迟敏感的应用（如长文档问答、代码生成）进行基准测试，评估实际收益并优化部署配置。
• 利用 FP8 支持，在满足精度要求的前提下，降低显存占用，提升并发批处理能力。
• 结合均值修正项的特性，为极端稀疏场景（如超长上下文）设计自适应稀疏度调节策略，进一步平衡效果与性能。

• FlashPrefill V2 在除 H20 之外的 GPU（如 A100、H100）上的性能表现如何？
• 其稀疏近似在真实业务场景中对模型输出质量的具体影响是否可控？
• 将 FlashPrefill V2 集成到 SGLang 等框架的成熟度和工程成本尚不明确。