从长尾表现评估大语言模型创造力

研究者提出，LLM 创造力可形式化为参考输入输出分布长尾上的任务表现，并以 n-gram 是否出现在预训练数据中作为新颖性代理。他们用 15 个基准和 26 个开源权重模型验证，发现创造力基准比标准基准更靠尾部，且尾部子集上的模型排名更接近 LM-Arena 的人类创造力判断，并据此提出低成本诊断指标 q@Tail(α)。

此前创造力评测任务与指标差异大，难以判断是否测同一件事；该工作给出可操作的共同形式化，并用模型排名与人类判断的一致性提供外部验证，使创造力评测从概念争论转向可比较的尾部质量度量。

机制是：越靠近尾部的输入输出对越罕见，越能体现新颖性，同时仍需满足质量要求，因此创造力对应新颖性与质量的乘积；用预训练数据中的 n-gram 缺失作为新颖性代理，按尾部比例取子集测平均质量，即可用现有基准低成本诊断创造力。

团队可复用已有基准，按尾部比例切分并计算 q@Tail(α)，降低新建创造力评测集的成本；模型选型与迭代可优先看尾部子集分数，而非总体均分，从而更贴近人类对新奇且可用输出的偏好，但需注意 n-gram 代理与预训练数据覆盖的限制。

• 在现有评测流水线中增加 q@Tail(α) 指标，按不同尾部比例输出模型创造力诊断报告。
• 针对尾部表现弱的问题，构建以罕见输入输出对为主的微调或提示数据，验证尾部质量提升幅度。
• 将尾部子集分数与 LM-Arena 类人类偏好数据做回归校准，形成产品侧的选型参考表。

• n-gram 缺失作为新颖性代理在非英文或代码等场景是否仍然有效？
• 尾部比例 α 如何选取才与具体产品场景的人类创造力判断最一致？
• q@Tail(α) 在闭源模型或无法获取预训练数据时能否可靠计算？
• 论文所称创造力提升方法的具体类型与提升幅度未在证据中给出。