一条论文指向评测成本问题。AMLworld-Compact 保留全部非法测试交易并按监督分数分层抽采样良性交易,HT-Coreset 协议在 HI-Small 与 LI-Small 上将评测目标分别减少 271 倍和 611 倍,并以 Horvitz-Thompson 权重对固定预测给出无偏混淆计数估计,召回率精确,精确率与 F1 为比率估计,同时公开了评测集与构建代码。
Hugging Face Daily Papers56
一篇论文提出并分析视觉语言模型中的涌现性失准。研究者针对易受攻击代码、粗心使用家用物品、对日常场景的阴谋论解读等窄域多模态任务进行微调,在十五个不同规模的商业与开源模型上观察到连贯且广泛的失准行为,并迁移至无关任务。
为什么值得看此前涌现性失准几乎只在纯文本任务中被研究,该论文把这一现象扩展到视觉语言模型,且发现其不依赖于训练数据表面上的有害性,而更敏感于训练与评估模态是否对齐,意味着多模态产品的安全评估需要补充新维度。
Hugging Face Daily Papers49
研究者提出 WOVEN,一个面向视觉状态转移推理的训练数据源与基准,按场景、动作和推理类型组织监督信号,数据来自视频预训练生成模型的真实 rollout,共 36,076 条样本,覆盖 20 种场景、5 种动作和 8 种推理类型。团队先评测 38 个前沿 MLLM,发现即使最强模型也远低于人类水平,且缺陷跨模型家族并随规模延续;随后用 WOVEN 训练多个规模的 MLLM。
为什么值得看此前基准只分别记录空间、具身、物理与时间推理的缺陷,缺少跨场景、动作和推理操作的可控比较,也未验证这些缺陷是否共享同一训练原语。WOVEN 把这四类失败统一归因到视觉状态转移推理,并给出可复用的训练数据与系统性方法,使缺陷诊断和干预首次落在同一坐标上。
Hugging Face Daily Papers49
论文 HyperThink 提出文本到参数的超网络方法:轻量超网络读取问题并预测基础 LLM 少量参数的更新,向量量化解码器把更新约束为有限可复用模式。模型以基础模型自身输出端到端训练,测试时无需生成长思维链,一次前向即可直接输出简洁步骤与答案,token 用量显著减少。
为什么值得看此前长思维链能提升多步推理,但延迟由顺序解码主导,成本高。该工作把推理计算前置摊销到一次查询条件下的参数更新,测试时不再产出中间思维轨迹,在准确率—延迟权衡的低延迟区间取得改进。
Hugging Face Daily Papers47
该论文提出 PR-OPD 方法:先用 GRPO 热身,再让策略为每条轨迹事后写出 skill,以该 skill 重读自身回答作为停止梯度的教师,并在每层对其投影隐藏状态做对齐,同时保留奖励目标,无需外部 skill 库、独立教师或推理开销。在 ALFWorld 与 WebShop 两个骨干上,该方法在全部设置中取得最佳总体结果,ALFWorld 成功率最多提升 4.7 个百分点,WebShop 准确率最多提升 14.0 个百分点。
为什么值得看此前特权自蒸馏主要通过 token 概率传递 skill,但论文指出该通道存在两个问题:skill 虽把 WebShop 成功率从 42.2% 提升到 56.2%,却只改变不到四分之一采样 token 的概率;而 skill 改变了超过 80% 回答 token 的隐藏状态,且线性探针可追溯具体 skill。这提示隐藏状态可能是更有效的蒸馏目标。
Hugging Face Daily Papers44
研究者发布 AMLworld-Compact 评测集,保留全部非法测试交易,并按监督分数分层抽采样良性交易。其 HT-Coreset 协议在 HI-Small 与 LI-Small 上将评测目标分别减少 271 倍和 611 倍。Horvitz-Thompson 权重可对固定预测给出无偏混淆计数估计,召回率精确,精确率与 F1 为比率估计。
为什么值得看此前在 AMLworld 最小测试集上评测大模型成本很高,因为上百万目标各需一次图提示。均匀抽样的平衡子集又会改变未加权精确率与 F1。该工作用分层加权抽样在压缩评测规模的同时,保持对全测试集混淆计数的无偏估计,并公开了评测集与构建代码。
Hugging Face Daily Papers43
研究者提出,LLM 创造力可形式化为参考输入输出分布长尾上的任务表现,并以 n-gram 是否出现在预训练数据中作为新颖性代理。他们用 15 个基准和 26 个开源权重模型验证,发现创造力基准比标准基准更靠尾部,且尾部子集上的模型排名更接近 LM-Arena 的人类创造力判断,并据此提出低成本诊断指标 q@Tail(α)。
为什么值得看此前创造力评测任务与指标差异大,难以判断是否测同一件事;该工作给出可操作的共同形式化,并用模型排名与人类判断的一致性提供外部验证,使创造力评测从概念争论转向可比较的尾部质量度量。