语言模型泄漏：通过逐token时序窃取架构与推理优化

arXiv AI 发布研究，提出 LeakyLMs 攻击方法。此方法利用生产语言模型每个 token 生成时序泄漏模型架构与推理优化细节。首次证明仅通过远程 API 交互的时序即可推断关键信息。攻击能检测推测解码等推理优化，例如识别出 Google Gemini Flash 2.5 使用的推测解码及其草稿模型上下文长度约 128K tokens。还能恢复变压器层数、隐藏维度、注意力头数等架构属性。在 Llama 模型实验中，近正确架构配置在 top-10 猜测中超过 90% 准确率。

此前普遍认为模型部署细节仅通过 API 输出不可获取；本研究表明仅凭每个 token 生成时间即可大量盗取知识产权和工程配置，对模型保护与安全审计带来全新挑战。

攻击者首先构建了现代 NVIDIA GPU 上 token 生成延迟与模型配置、硬件参数的精确时序模型，然后利用该模型在可能的架构空间中进行搜索匹配。例如，推测解码因并行生成草稿 token 而改变时序分布，攻击者据此推断其存在及草稿模型长度。

模型推理服务商需重新评估安全性，可能被迫增加时序遮蔽或延迟随机化机制，这会增加推理复杂度与成本；同时模型架构机密面临泄漏风险，可能影响竞争情报与模型商业价值。

• 开发推理引擎内建的时序噪声注入模块，在不显著影响用户体验前提下混淆 token 生成时间。
• 设计同时支持时序盲搜索验证的架构泄漏检测工具，帮助服务商主动发现泄漏风险。
• 提供标准化 API 接口，允许客户选择是否开启时序防护，形成差异化安全服务。

• 该攻击对非 Llama 架构（如 MoE 或稀疏模型）的适用性如何？
• 在真实网络延迟波动较大的环境下（如跨区域 API 调用），攻击准确率会下降多少？
• 是否存在更隐蔽的时序特征可被用于攻击而论文未覆盖？
• 防御措施（如随机化延迟）对现有模型的推理吞吐量影响有多大？