LLMET：实现面向能效LLM服务的新兴M3D内存的跨层评估

研究者开发了LLMET仿真框架，评估利用M3D技术扩大片上L2缓存对LLM服务能耗的影响。模拟显示，在双A100平台将L2缓存从40MB扩至1GB可使Llama3.1-70B预填充阶段芯片能耗降低44%；在8×B200类平台从128MB扩至4GB可节省24%；在边缘平台从8MB扩至256MB可使解码能耗降低30%。结果表明超大片上缓存有望提升LLM服务的能效。

此前大模型能耗瓶颈主要来自芯片内数据搬运，但缺乏量化研究。该论文首次通过跨层仿真系统评估M3D超大规模片上缓存对LLM服务各阶段的节能效果，为下一代加速芯片的内存架构设计提供了可验证的参考数据。

M3D技术可在逻辑芯片后道集成更大容量的片上缓存，减少数据从片外HBM到片上缓存的移动次数。由于数据搬运是芯片能耗的主要来源，扩大片上缓存能显著降低预填充和解码阶段的芯片能量消耗。

若M3D大缓存技术被商用，GPU/加速器厂商需重新设计片上缓存容量（如从几十MB提升至数GB），直接影响芯片面积、成本和散热方案。云服务商可据此优化LLM部署的硬件选型，边缘设备也能通过大缓存实现更节能的本地推理。

• GPU/ASIC厂商可评估在下一代芯片中集成M3D缓存，将L2容量提升至1GB以上以降低LLM服务能耗。
• 边缘AI芯片设计可参考LLMET模拟结果，部署256MB级别片上缓存用于实时解码场景。
• 云服务商可利用LLMET框架对不同模型和任务进行缓存容量-能效权衡分析，优化硬件采购策略。

• LLMET模拟结果在真实M3D硬件上的实际节能效果是否一致？
• M3D大缓存带来的芯片面积和制造成本增加是否抵消能效收益？
• 该技术对不同架构（如Transformer变体）和更长上下文窗口（>16K）的节能效果如何？
• 与量化、剪枝等软件优化相比，硬件缓存扩容的综合性价比如何？