Hugging Face Daily Papers55
该论文提出 Intern Lumina U2,称其为首个在完全离散空间内表示多码本视觉 token 的扩散语言模型。每个视觉位置由来自互补码本的一组码表示,输入端在各位置拼接嵌入,输出端由轻量多码本自回归头依次预测码,扩散主干并行处理所有位置。模型基于 AToken 的统一 4D 表示,在单一主干内支持图像、视频和 3D 输入。
为什么值得看此前离散方案多用单码本视觉分词器,与文本建模对齐但表示能力有限;连续与混合方案视觉表示更丰富,却在异构空间用不同目标训练,可能造成模态间优化冲突。该工作尝试在共享优化空间内兼顾高容量视觉表示与文本兼容性,并统一图像、视频与 3D 输入。
Hugging Face Daily Papers53
PN-Mix 是一篇针对长输出 LLM 推理的论文,聚焦 KV cache 内存与带宽瓶颈。作者通过 RoPE 通道对级别的 attention logit 扰动分析发现,query–key pair-norm 乘积大的通道对量化误差对 logit 变化贡献显著,据此提出按通道对分配混合精度、在 prefill 阶段确定一次并在整个解码阶段复用的 key cache 量化方法。在推理、代码生成和 AIME 基准上,PN-Mix 以平均 2.26 bit 精度达到或超过先前 2.32–2.39 bit 混合精度方法的平均准确率,并在 1.5 bit 下仍平缓退化。
为什么值得看此前混合精度 key cache 量化仅依赖 key 统计来估计通道重要性,压缩到 2 bit 时准确率明显下降。PN-Mix 改用 query–key 成对范数来识别显著通道对,在更低平均位宽下取得更高或相当准确率,并把可用下限从约 2.25 bit 推到 1.5 bit,为长输出推理的内存和带宽优化提供新依据。
Hugging Face Daily Papers52
该论文提出用专业人道主义灾情报告构建15槽位信息框架,评估五种灾害、三类灾种下121份人工报告与261份LLM生成报告。在Cyclone Idai上,最佳机器配置得分0.827略高于人工上限0.821,但差异不显著(bootstrap CI含零,p=0.852),且在openai/gpt-5.6-luna上排序不复现。三个主要事件中机器报告仅复现同日官方数据的5.4%–11.0%,来源标注维度在全部12个事件-评委单元中均缺失。
为什么值得看此前对LLM报告质量的评估多依赖易比较的自动指标,而非从业者真正需要的信息维度。该研究用人工确认的15槽位框架和多模型重复性检验,显示单一模型上的领先可能只是噪声,且现有指标(ROUGE-L无信息量、BERTScore与完整性负相关)无法反映实际可用性。
Hugging Face Daily Papers45
论文提出 JevAgentHarness,用于将 agent 每步的选项式决策委托给决策模型 Jev,降低对大 LLM 的调用成本。作者构建 AgentDecisionBench,测量从孤立问题到控制运行中 agent 的表现,并训练开放 4B 模型 AgentDecision-4B,使用 Jev 答案标注 agent 出错后到达的状态。结果显示相似任务上成本降低 81.1%–89.0%、速度提升最高 2.5 倍,任务成功率不明显下降。
为什么值得看此前 agent harness 几乎每步都调用大 LLM,长任务延迟和成本高;该工作把选择类决策下沉到更小的决策模型,并给出评测基准和阈值机制,说明决策委托在成功率可控的前提下可以显著降低单价与耗时。
Hugging Face Daily Papers44
论文 Lluna 研究多个预训练单模态模型协作进行多模态预测时,一旦部分模态缺失,协作结果可能反而不如保留下来单个模型。作者用固定锚点诊断发现,输入消失会让协作收益减弱甚至反转,并观察到模态特有信息恢复不足。Lluna 由此提出私有预测路径与图协作残差修正相结合,并在八个数据集上平均优于最强基线 4.26%。
为什么值得看此前多模态协作通常默认模态齐全,论文指出模态缺失下协作收益会衰减甚至转为负向,且锚点输入未变也会受影响。这意味着多模态系统的鲁棒性评估需要按缺失程度分层,而非只看完整输入时的平均表现。