嵌入者的两难：LLM更好，但成本几何？

一项研究对比了十种LLM与26种嵌入模型在37项任务上的表现，发现两者整体打平；LLM在推理型检索上占优，嵌入模型在分类上占优，聚类、语义相似度和平分。但LLM成本最高可高出嵌入模型1431倍，且处理速度慢2.5至736倍。帕累托前沿包含领先嵌入模型及Gemini 3.1 Pro。

此前普遍认为LLM可全面替代嵌入模型，但本研究用受控实验揭示了成本与性能的权衡，表明两者不是简单的替代关系，而是分场景各有所长，为技术选型提供了量化依据。

LLM通过生成推理token来处理任务，推理token占推理成本的28%至81%，导致其计算开销远高于嵌入模型；而嵌入模型采用固定向量表示，在相似度、分类等任务上高效且廉价。任务性质决定了哪种范式更合适，推理密集型任务需要LLM的链式推理能力。

产品团队在选择嵌入方案时，需评估任务类型：相似度、分类、聚类场景可继续使用嵌入模型以节省成本；检索场景若重推理，则可考虑LLM，但需接受高成本和低吞吐。推理预算可调节，降低推理token数在多数模型上不损检索质量。

• 构建混合检索系统，分类和聚类用嵌入模型，检索用LLM，平衡效果与成本。
• 针对LLM检索场景，开发推理预算调节功能，允许用户按需降低推理量以控制成本。
• 基于公开基准数据，开发嵌入模型与LLM的自动选型工具，按任务类型推荐最优方案。

• 研究中的成本对比是否包含模型部署的硬件和运维成本？
• 在小规模数据或领域特定任务上，两者的差距是否一致？
• Gemini 3.1 Pro在推理检索上的优势是否具有普适性？