德国AI联盟发布开源30B模型Soofi S，英德基准测试表现领先但存在数据污染

德国AI联盟开源了30B参数模型Soofi S，该模型在英德语言基准测试中表现领先。但团队在技术报告第3版中承认，科学基准GPQA的测试问题意外混入训练数据，社区发现后团队移除了该基准并重新计算所有结果。

一个30B开源模型在双语基准上取得顶尖成绩，但训练数据污染问题被社区发现并纠正，这暴露了开源模型训练数据管理的漏洞，也凸显了社区审查对结果可信度的重要性。

基准测试结果因训练数据包含测试集而被高估；公开可查的训练数据使社区能够发现污染，迫使团队修正评估并提升透明度。

依赖该模型的产品需重新评估实际性能，避免基于受污染基准做决策；模型开发者应加强数据清洗与基准隔离流程，以降低类似风险。

• 利用Soofi S的开源特性构建英德双语对话或内容生成应用。
• 基于修正后的基准结果，评估其在垂直领域（如法律、医疗翻译）的适用性。
• 引入数据溯源工具，防止训练数据混入测试集，提升模型可信度。

• 修正后Soofi S在其他基准（如GLUE、MGSM）上的排名与原始结果差异有多大？
• 数据污染是否仅影响GPQA，还是波及更多基准？
• 团队采取了哪些具体措施防止未来训练数据污染？