隐性语言税：2026 年 LLM 分词器对法语及地区语言的多收 token，以及法语优化原型

该论文测量了 2026 年七款常用模型分词器（OpenAI o200k、Llama 3、Qwen3、DeepSeek V3/V4、Gemma 3、Mistral Tekken 及 Claude 第五代）在 NTREX-128 和《世界人权宣言》上的 token 差异：同一内容法语比英语多 31% 至 58% 的 token，法国地区及海外语言约为英语的 1.6 至 3.3 倍，简体中文在七个分词器中的六个上比法语更省 token。论文还提出名为 Baracoda FR v1.2 的字节级 BPE 原型，在六个事先未接触的语料上比 Tekken 少用 11.5% 法语 token 和 3.7% 英语 token。

此前业界多将多语言成本差异视为大致现象，该研究把差异量化到具体分词器和语料，并指出法语相对英语存在稳定且幅度较大的 token 溢价。这意味着按 token 计费和按 token 计量的上下文窗口，会让同一法语内容在价格和可用长度上系统性劣于英语；对法国及地区语言用户，成本差距在智能体多轮重发场景中会被进一步放大。

分词器在训练语料上以 BPE 等方式切分文本，语料中某种语言占比低、形态复杂或与英语共享子词少时，同一语义就需要更多 token。由于计费、上下文长度和分层定价都以 token 为单位，单位内容 token 数越高，绝对成本越高，且多轮对话中每次重发历史都会叠加这一差距。论文的受控实验显示，向分词器训练数据加入法语能快速降低溢价，但收益递减且英语成本上升，说明这是词表容量和语料配比的取舍问题。

对面向法国或法语市场的产品，同一段内容的调用费用可能比英语高约三成到近六成，上下文窗口实际可容纳内容更少，长文档和多轮智能体场景受影响更明显。研发上，若使用自训分词器或可替换分词器的模型，调整词表和语料配比可在不改变模型能力的前提下降低法语 token 数；但原型在其它语言上表现更差，替换需权衡多语言覆盖。

• 在面向法语用户的 LLM 产品中，按法语 token 溢价重新测算单次调用和订阅定价，避免按英语成本假设定价导致毛利被侵蚀。
• 对长文档翻译、摘要和多轮智能体场景，测试法语内容的 token 数上限，必要时改用对法语更省 token 的模型或自训分词器。
• 在多语言产品中按语言分别设定上下文截断和摘要触发阈值，而不是用统一的英语 token 预算。
• 若自研分词器，可参照论文的受控方法，用目标语言语料做小规模词表实验，先验证法语 token 降幅与英语成本上升的取舍。

• 该论文的测量只覆盖既有分词器和有限语料，尚不清楚同一溢价是否在更广泛领域文本和口语化内容中同样成立。
• Baracoda FR v1.2 只报告了分词结果，未说明对下游任务质量、推理速度和内存的实际影响。
• 论文未说明 Claude 第五代分词器通过 Anthropic 计数 API 获取的计数是否与官方计费完全一致。
• 各模型是否会调整分词器或定价以缩小语言间 token 差距，目前没有证据支持。