旧 OCR 文本制约语言模型训练，FineBooks 寻求规模化修复

Hugging Face 与 EleutherAI 联合发起的 FineBooks 项目，对 14 个开源 OCR 模型在超过 2000 页历史书籍上进行测试。表现最佳的 dots.mocr 模型字符准确率达 97.6%，处理每千页成本低于 2 美元，团队认为该精度足以用于 AI 训练数据，但尚不适用于学术转录。

此前历史书籍的 OCR 文本错误率较高，严重制约了基于这些文本训练的语言模型质量。FineBooks 项目证明了在低成本下可获得高精度 OCR 结果，这为大规模清洗历史文本、提升模型训练数据质量提供了可行路径，改变了旧文本难以有效利用的局面。

OCR 文本是许多语言模型训练数据的重要来源，尤其是历史文献。低质量 OCR 会产生大量字符错误，导致模型学习到错误语言模式。FineBooks 通过系统评估并筛选出高精度低成本的开源 OCR 模型，使得大规模高质量转写历史书籍成为可能，从而改善训练数据质量。

对依赖历史文本数据的 AI 产品，如古籍数字化平台、历史研究辅助工具，可通过采用 dots.mocr 等模型降低 OCR 成本并提升准确率。训练数据质量的提升可直接改善下游模型的文本理解和生成能力，减少因噪声数据导致的偏差。

• 评估并集成 dots.mocr 模型到历史文本处理管线，替代现有低精度 OCR 方案，以提高数据质量并控制成本。
• 基于 FineBooks 的测试方法，构建内部 OCR 模型评估基准，持续筛选最适合自身数据集的模型。
• 对于学术转录等高标准场景，开发基于高精度模型的后期纠错工具，以弥补当前模型精度不足。

• dots.mocr 模型在不同语言和字体风格的历史文档上的表现是否稳定？
• 少于 2 美元/千页的成本是否包含全部计算资源，还是仅指 API 调用费用？
• FineBooks 项目是否会公开发布完整的测试数据集和模型榜单，以便社区复现？
• 97.6% 的字符准确率对具体下游任务（如问答、摘要）的改善幅度有多大？