DataPrep-Bench：将LLM作为训练数据准备者的基准测试

研究者提出了DataPrep-Bench，首个统一基准，用于评估LLM、智能体及数据驱动工作流在训练数据准备中的端到端能力。基准涵盖数据构建与数据质量评估两项互补能力，覆盖六个领域。同时发布了Data-Construction-Skill智能体和Distributional Alignment Score (DAS)评估方法。

此前没有统一基准来衡量LLM如何端到端地准备训练数据，现在有了第一个联合评估数据构建与质量的基准，使不同方法的比较标准化。

数据构建通过下游微调（联合Dolly-15k）评分；数据质量评估通过皮尔逊相关性衡量评分函数与下游表现的一致性。DAS使用候选数据集与领域代理之间的最大均值差异（MMD）进行分布对齐评估。

该基准为自动化的训练数据准备流程提供了可量化的评估标准，可能降低人工标注和数据清洗成本，提升模型微调效果，尤其适用于知识抽取密集的领域。

• 基于Data-Construction-Skill智能体开发自动化数据构建工具，替代部分人工标注。
• 在内部数据准备管道中集成DAS评分，快速筛选高质量微调数据集。
• 针对特定领域（如金融、法律）构建定制化的数据准备基准，优化领域模型。

• DataPrep-Bench能否扩展评估多模态训练数据的准备能力？
• DAS在真实生产环境中的计算效率是否足以支持大规模数据集？
• 该基准是否适用于非英语的低资源语言领域？