PPL-Factory：从语言建模到推理的任务感知与预算感知数据选择

arXiv 论文提出 PPL-Factory，一种结合任务感知困惑度得分与预算感知选择标准的数据筛选框架，用于大语言模型微调。实验表明，在 GSM8K 上仅用 1% 的训练数据即可超越其他筛选方法，用 10% 数据时在 GSM8K 和 MATH 上分别超过全量微调准确率 0.9 和 4.8。该方法简单、可解释，有效降低了计算成本。

此前数据选择多依赖数据质量、多样性等固定启发式，效果因任务而异。PPL-Factory 基于困惑度并感知任务与预算，能在极低数据量（1%）下超越其他方法，甚至用 10% 数据超越全量微调，为高效微调提供了更直接、更通用的途径。

PPL-Factory 使用任务感知的困惑度得分来估计样本难度，并引入预算感知的选择标准，在给定数据量下优先筛选对微调贡献最大的样本。该方法区分语言建模与推理任务的不同学习目标，避免了传统全局困惑度打分忽视任务差异的问题。

该方法可大幅降低微调所需的数据量和计算成本：在 GSM8K 和 MATH 上仅需 10% 数据即超越全量，意味着产品团队能用更少资源获得同等或更优的模型推理性能，缩短训练周期并减少 GPU 依赖。

• 在需要微调大语言模型用于数学或推理任务的产品中，评估 PPL-Factory 的效果以降低数据成本。
• 将 PPL-Factory 集成到自动化数据流水线中，根据预算自动筛选最优训练样本。
• 对比 PPL-Factory 与现有数据筛选工具（如基于质量或多样性的方法）在内部数据集上的表现。

• PPL-Factory 在非数学推理任务（如文本分类、对话生成）上是否同样有效？
• 计算困惑度本身的开销是否显著，在超大规模数据集下能否保持效率优势？
• 该方法是否需要针对不同模型架构（如 MoE、多模态）进行调整？