幂律图注意力：缩放点积注意力的精确推广，推理时经验性崩溃

论文提出幂律图注意力（PLGA），以学习得到的双线性算子替代缩放点积注意力（SDPA）中的固定形式，该算子由正张量经逐元素幂律构建。论文严格定义了架构，并给出推理崩溃定理：当算子恒定时，推理退化为广义SDPA。实测显示输入不变性相对波动在10^-6以下，分块与序列评分在TruthfulQA上结果一致。

该研究提出注意力机制的一种新泛化形式，并给出推理时输入不变性的崩溃定理，可能对模型可解释性和推理可控性产生影响。

PLGA通过输入生成的双线性算子G_LM替代SDPA中的固定双线性形式，该算子由正张量A_LM的逐元素幂律构建。论文证明当G_LM=I时PLGA精确包含SDPA，并指出在非共振条件下，交换子准则可识别保持相对位置依赖的算子。此外，论文将推理崩溃归因于输入不变性，并通过条件三阶段机制（旋转twirl、集中、行映射收缩）解释。

对编译器或推理框架而言，若推理确实会崩溃为恒定算子，可能带来计算简化或缓存优化机会，但证据标明扰动界限未认证缓存推理，且代理度量未捕捉解码裕度，故实际优化效益尚不确定。

• 在推理框架中实现检测'输入不变性'条件，当满足时自动切换至恒定算子的高效计算路径。
• 基于PLGA设计新的注意力层，用于提升模型在长序列或依赖关系建模任务上的表现。
• 利用块与序列评分一致性，开发更高效的训练评分策略，减少计算开销。

• PLGA在多种标准NLP任务上的实证性能（如质量、速度）是否优于SDPA？
• 推理崩溃现象是否在更大规模或不同架构的模型中普遍存在？
• 扰动界限在哪些实际条件下会导致缓存推理失效？
• 模型发布是否有公开权重，可验证块与序列评分在更多样本上的一致性？