LLM服务的实证研究：框架、方法与系统设计

一项实证研究调查了开源软件系统中LLM服务框架和方法的使用情况，分析了vLLM、SGLang、TensorRT-LLM、LMDeploy和FlashInfer五个框架。结果显示vLLM在流行度和采用率上最突出，并行计算、内存管理和网络剪枝是最常用的服务方法类别，多框架使用有限但能互补。

此前关于LLM服务的研究多聚焦于技术提案，缺乏对其实际采用情况的了解。该研究揭示了真实项目中框架和方法的使用模式，有助于产品经理和技术决策者理解市场现状，指导技术选型和架构设计。

研究通过分析开源代码仓库中LLM服务框架的引用和使用情况，统计不同框架和方法的采用频率，并考察其在不同模型族、模态、规模和部署场景中的差异，从而揭示实际工程实践中的偏好和组合模式。

对于开发LLM应用的产品团队，该结果提示vLLM是当前最主流的服务框架，采用它可能降低集成风险。同时，并行计算和内存管理等技术是性能优化的关键，影响推理成本和响应速度。多框架组合可用于补足单一框架的能力，但需权衡复杂度。

• 开发面向vLLM的部署工具或最佳实践指南，帮助团队加速采用。
• 提供多框架集成方案或抽象层，降低多框架组合的工程复杂度。
• 针对并行计算和内存管理优化，推出性能调优服务或配置模板。

• 研究样本的范围和代表性如何？是否涵盖所有主流开源项目？
• 不同框架的实际性能差异是否影响采用决策？证据未提供具体数据。
• 多框架组合的具体模式和收益是否在论文中有详细分析？