压缩 Hessian：面向多模态扩散 Transformer 的 Rank-4 W4A4 量化

该论文提出一种面向多模态扩散 Transformer 的 W4A4 训练后量化统一框架，将低秩补偿与残差量化联合建模为耦合校准问题，并引入"deflated Hessian"与激活噪声替代项。在五个扩散骨干上，rank-4 方法在 PSNR 和 LPIPS 上稳定优于 rank-4 SVDQuant；在 SANA-1.6B、FLUX.1-schnell、FLUX.1-dev 上以 8 倍更小的 rank 超越 rank-32 SVDQuant，量化速度最高快 6.25 倍。

此前低秩 PTQ 方法通常将低秩补偿与残差量化分开优化，往往需要更高 rank，或忽略激活量化误差。该工作表明 rank-4 即可在多个扩散骨干上超过 rank-32 方案，意味着 W4A4 量化的显存与计算开销可能大幅下降。

方法将低秩辅助的 W4A4 PTQ 建模为耦合校准问题，并从联合目标推导求解器。去掉输出侧低秩因子后得到 deflated Hessian，使残差误差中已被低秩部分捕获的成分被折价；同时用激活噪声替代项抑制 4-bit 下的激活量化误差。

对需要在消费级或边缘设备部署多模态扩散模型的团队，rank-4 W4A4 有望降低权值与激活的存储占用及量化校准耗时，缩短量化流水线，并在同等精度下减少推理显存压力，对产品端模型体积与上线成本有直接影响。

• 将 rank-4 W4A4 量化流程集成到现有扩散模型部署管线，验证在自有模型上的精度与显存收益
• 针对 FLUX.1 与 SANA 等开源骨干，构建 rank-4 量化权重并发布可复现的推理 benchmark
• 把低 rank 与快量化特性打包为面向端侧多模态生成的量化工具链或服务

• 该方法在更多模态组合（如视频、音频）上的泛化能力尚未验证
• deflated Hessian 求解器的实际显存开销与收敛稳定性未在证据中说明
• 与 SVDQuant 之外的其他 PTQ 基线对比结果缺失
• 量化速度提升是否在完整生产管线中同样成立仍待确认