自适应过滤KV缓存：诊断和修正LLM推理中的结构性角色偏见

研究发现基于注意力质量的KV缓存淘汰方法（如H2O）在嵌套JSON等结构化输入中，不成比例地保留非内容的噪声角色（分隔符/空白）和结构性KEY token，导致保留状态的信号噪声比下降，精确匹配准确率从88%降至0%。提出的免重训练、角色条件分配方法（基于SnapKV窗口分数和15MB线性角色探针），通过单个超参数调整，在低预算下缩小了63-98%的H2O差距，高预算时可匹配或超过全缓存准确率。

此前KV缓存淘汰方法默认高质量token更重要，未考虑结构性角色偏见，结构化数据场景下性能严重受损。本研究首次诊断该偏见并提供无需重训练的修正方法，使长上下文推理能有效处理JSON、代码等结构化输入，避免信息丢失。

注意力质量作为非平稳滤波器，非内容角色（如分隔符/空白）的能量比内容角色高一个数量级，KEY token保留率约是VALUE token的1.8倍，导致信号噪声比降低。角色条件分配通过抑制KEY token（最优可部署策略），结合SnapKV窗口分数重新分配缓存容量，提高了信号保留。

对使用LLM处理长结构化输入（如文档解析、API调用生成）的产品，现有KV缓存淘汰策略可能在压缩下丢失答案信息；可低成本（15MB线性探针）集成角色条件分配，无需重训练即可提升准确率，尤其低预算场景效果显著。

• 在LLM推理框架中集成角色条件KV缓存淘汰，提升处理长JSON等结构化数据的准确率。
• 针对结构化输入场景，利用角色探针优化缓存预算分配，降低推理成本同时保持精度。
• 将此方法作为可选优化，适用于需高精度提取结构化信息的产品（如日志解析、数据转换）。

• 该方法在非结构化文本上的表现如何？
• 线性角色探针在不同模型规模（如7B vs 70B）上的泛化性如何？
• 是否需要针对不同结构化格式（XML、CSV）调整超参数？
• 高预算下微小去噪效应在不同随机种子下是否稳定？