PN-Mix：面向长输出 LLM 推理的成对范数引导混合精度键缓存量化

PN-Mix 是一篇针对长输出 LLM 推理的论文，聚焦 KV cache 内存与带宽瓶颈。作者通过 RoPE 通道对级别的 attention logit 扰动分析发现，query–key pair-norm 乘积大的通道对量化误差对 logit 变化贡献显著，据此提出按通道对分配混合精度、在 prefill 阶段确定一次并在整个解码阶段复用的 key cache 量化方法。在推理、代码生成和 AIME 基准上，PN-Mix 以平均 2.26 bit 精度达到或超过先前 2.32–2.39 bit 混合精度方法的平均准确率，并在 1.5 bit 下仍平缓退化。

此前混合精度 key cache 量化仅依赖 key 统计来估计通道重要性，压缩到 2 bit 时准确率明显下降。PN-Mix 改用 query–key 成对范数来识别显著通道对，在更低平均位宽下取得更高或相当准确率，并把可用下限从约 2.25 bit 推到 1.5 bit，为长输出推理的内存和带宽优化提供新依据。

RoPE 将通道成对旋转，量化误差以通道对形式影响 attention logit。PN-Mix 通过 logit 扰动分析发现，query–key pair-norm 乘积大的通道对，其量化误差对 logit 波动贡献更大。因此该方法在 prefill 阶段一次性识别这些显著通道对并分配更高精度，解码阶段直接复用该分配，不再重复估计，从而在平均位宽下降时仍控制准确率损失。

对长输出场景的推理服务，这项技术意味着在相同显存或带宽预算下可支持更长上下文或更大并发，或在同等准确率下降低 KV cache 占用。研发侧需要支持 prefill 阶段一次性生成通道精度分配表，并在解码 kernel 中按通道对混合精度读取，可能涉及量化感知推理引擎和 kernel 改造。

• 在自研或开源推理引擎中接入 PN-Mix 式混合精度 KV cache，针对长输出与高并发场景做 A/B 基准测试，验证显存占用与吞吐收益。
• 将 prefill 阶段一次性通道对显著性分析与解码复用做成可配置模块，支持按模型和任务调节平均位宽预算。
• 围绕 1.5–2.3 bit 区间建立准确率-位宽 Pareto 评测流程，用于选择线上服务的量化档位。

• PN-Mix 在证据中仅在推理、代码生成和 AIME 基准上验证，尚未确认其在多语言、长文档问答等任务上的泛化表现。
• 论文未说明该方法的实际推理速度、显存节省和 kernel 实现开销，端到端收益仍待确认。
• 显著通道对在 prefill 阶段一次性确定，是否对 prompt 分布变化或领域迁移敏感，证据未涉及。
• 与现有 KV cache 量化工程方案（如分页注意力、前缀缓存）的兼容性尚未在证据中确认。