NeoMME：面向高效微调与推理的单塔多模态多语言基础编码器

NeoMME是H公司推出的单塔多模态多语言双向编码器系列，包含260M和800M参数两种规模。它从零预训练，采用掩码离散扩散文本目标，支持处理多语言文本和原始图像块，上下文长度达16384 token。下游任务中，NeoMME-Retriever 260M在ViDoRe v3基准上nDCG@10达0.523，800M版本达0.556。在2048x2048输入下，260M版吞吐量约为ColModernVBERT的2倍。

现有视觉文档检索模型通常复用为生成任务设计的VLM，导致参数和计算开销大。NeoMME作为双向编码器，避免了VLM的生成分支，在非生成任务上更高效，且性能超越同规模模型。

NeoMME采用单塔双向Transformer，直接处理多语言文本和图像块，无需分离的视觉编码器。预训练目标为掩码离散扩散，条件于可见图像块，使模型学习多模态表示。对比ColPali等基于VLM的编码器，NeoMME移除了自回归解码需求，从而减少计算开销。

NeoMME可降低文档检索等产品对算力的需求，尤其在处理高分辨率图像长文档时，提升吞吐效率。其层级token池化与对称量化可将嵌入压缩255倍，同时保留95%以上的性能，有助于减少存储和传输成本。

• 在文档检索产品中集成NeoMME-Retriever，替换现有基于VLM的编码器以提升批量处理吞吐量。
• 利用NeoMME的量化后嵌入压缩方案，构建低延迟、低存储的端到端文档搜索服务。
• 将NeoMME作为多语言视觉问答的编码器，微调后用于跨语言资料分析和检索。
• 基于Apache 2.0许可在内部研发中免费集成NeoMME，评估其与当前OCR+文本检索管线的ROI差异。

• NeoMME在非检索任务（如图像分类）上的表现是否仍有竞争力？
• paper中未披露训练数据规模与构成，是否影响多语言泛化能力？
• 实际部署时，生成式VLM与NeoMME在完整工作流中的端到端延迟差异未在证据中量化。
• 量化压缩后超过5%的性能损失是否可被接受，取决于具体应用场景对精度的要求。