- 类型
- 新闻
- 来源
- 公众号 · PaperWeekly
- 发布
- 2026年9月16日 12:36
- 状态
- 单一信源
发生了什么
浙江大学、蚂蚁集团及联合实验室提出 LongDS-Bench,用真实 Kaggle 工作流构建 68 个任务、2,225 轮交互,论文被 EMNLP 2026 主会录用。此次发布 v1.1,细化任务规范并推出含 24 个任务、777 轮交互的 Lite 子集,v1.1-Lite 榜上 GPT-6 Astra 以 78.17 分暂列第一,Claude Fable 5.1 为 76.53 分。
为什么重要
此前数据分析基准多给出完整目标,而 LongDS 把评测重点放在多轮推进中分析状态的维护与演化,如规则沿用、指标定义修改、临时假设与历史版本找回。它指出代码运行成功但用错数据版本或指标时不会报错,结果已偏离意图,这补充了现有基准未覆盖的失败类型。