轻量级大语言模型性能剖析

这篇论文提出了一种基于PTME的精度感知profiling框架，用于测量轻量级LLM在边缘设备上的精度、执行时间、峰值内存和能耗。研究发现，参数数量或FLOPs等静态代理指标能近似推理成本但无法预测精度；收紧资源约束主要增加执行时间却不影响精度；且没有单一模型在所有维度上占优。Pareto分析揭示了不同资源约束下的非支配配置，为模型选择提供实践指导。

现有LLM效率评估多依赖参数数量或FLOPs等代理指标，与实际部署中的能耗、延迟脱节。该研究通过直接硬件测量，揭示了资源约束下不同模型的真实权衡，表明仅凭参数或准确率选型可能误导，为边缘部署的模型选择提供了更准确的依据。

该框架通过硬件测量同时记录精度、执行时间、峰值内存和能耗（PTME），发现静态代理指标可近似成本但无法预测精度；收紧资源约束（如降低内存或功率）会放大执行时间，且对较大模型惩罚更重，但精度保持不变。Pareto分析显示，不存在单一模型在所有PTME维度占优，不同资源约束下有不同最优配置。

对于开发本地或边缘AI产品的团队，该研究提醒不能仅依据参数数量或FLOPs选型，需同时测量实际资源消耗和精度。产品研发中应模拟真实资源约束进行测试，因为收紧资源主要增加延迟而非精度损失，且大模型受影响更大。

• 开发一个模型选型工具，基于PTME指标为不同资源预算推荐最优轻量级LLM。
• 在产品中集成动态资源分配策略，根据当前可用内存或功耗切换模型，平衡延迟与精度。

• 该profiling结果能否推广到更多硬件平台（如手机、树莓派）和不同架构的模型？
• 资源约束下精度不变是否对所有任务（如代码生成、数学推理）都成立？
• PTME框架是否适用于量化或蒸馏后的更小模型？
• 不同资源约束下的Pareto最优配置是否随硬件变化？