论文Qwen3.8-Omni:走向原生全模态智能体
此前 omni 模型主要强调感知与交互,而该模型把重心转向多模态理解、推理与长程任务,并通过原生多模态协同训练把文本域已有的 agentic 能力迁移到音频和视频任务,使多模态模型不再只是对话前端,而更接近可直接承担生产流程的智能体。
TOPIC · CURATED VIEW
追踪视频生成、理解与编辑工具,关注模型能力如何进入真实创作流程。
此前 omni 模型主要强调感知与交互,而该模型把重心转向多模态理解、推理与长程任务,并通过原生多模态协同训练把文本域已有的 agentic 能力迁移到音频和视频任务,使多模态模型不再只是对话前端,而更接近可直接承担生产流程的智能体。
此前评测多关注生成质量与提示词,而这份证据指出评测环节本身会被与被测画面无关的文本带偏。仅凭“工具调用成功”的日志,就能让开源评审模型大规模放行明显失败的片段,说明自动验证结果在闭环系统中可能不具备可信度。
此前的多模态视频生成多聚焦画面质量与指令跟随,较少把“说服效果”作为优化目标,也少有工作为通用议题而非商业广告服务。该工作把说服理论显式嵌入生成流程,并用生成—批评的反思循环逐阶段优化,意味着视频生成的目标函数从内容逼真向认知影响延伸。
此前 VLA 与世界动作模型多直接复用通用视觉语言或视频生成骨干,在杂乱场景和微小目标的精确定位上受限。GroundingPI 用更小参数在多项定位基准上超过更大模型,并作为视觉骨干在机器人操作和自动驾驶上带来可测提升,说明专一定位骨干可能替代通用骨干。
此前视频摘要方法依赖离散关键帧和片段描述,忽视了帧的全局重要性,可能导致理解不连贯和信息丢失。HAS从全局视角计算连续高亮分布并引导注意力,有望提升摘要的连贯性和信息完整性。
此前数字人直播智能体面临两难:小模型难以应对快速变化的业务配置,强模型延迟高。该方案通过将 Harness 状态纳入训练分布,让紧凑模型无需重训即可灵活适配动态业务规则,兼顾低延迟和高质量回复,为实时直播电商场景提供了可落地的技术路径。
此前视频理解和深度研究能力通常分开开发,视频模型难以获取外部知识,而检索模型缺乏时序感知。VideoRover 首次将二者统一到一个可迭代协调的框架中,使模型能主动定位稀疏视觉证据并获取外部知识,这可能为开放世界视频问答和智能体应用带来新的能力范式。
此前文本生成视频的语义纠错多在采样前优化或采样后细化,生成过程中缺乏检测与纠正机制。此框架首次将 MLLM 反馈注入扩散采样循环,进行实时的轨迹纠正,解决了生成中语义偏差未被干预的问题,提高了生成质量。
过去具身生成方法常牺牲预训练的视觉知识,而该模型首次在多种机器人实体上实现高质量多视角场景生成,并引入结构化可控具身转移。它将世界基础模型的泛化能力保留并适应于具身场景,显著提升真实环境操作成功率。
与 VGA-Bench 相比,VGA-BenchV2 将人工标注规模大幅扩大,美学质量、美学标注和生成质量的标注量分别增至原来的 13.46 倍、11.15 倍和 1.55 倍,并首次将评估器用作奖励模型,实现从评估到优化的闭环,这标志着视频生成质量评估从纯评价走向可指导模型改进的新阶段。
此前视频扩散模型随机性强、难以精确控制,长时段场景易在观感、交互和时间一致性上漂移;智能体视觉创作虽提供显式参考与可编辑状态,却难保证对象与角色保真度。该工作尝试把两者放入同一模型,用统一条件组合替代重复采样。
现有视频文化基准将三种能力合并评分,掩盖了模型的具体短板。CMB首次分别评估概念命名、视觉识别和时间定位,揭示了最强模型在综合任务中得分极低,并发现音频对非拉丁文字文化概念常产生干扰,为该领域评测提供了更细粒度的方法。
此前多模态扩散策略主要采用同步融合或手动设计的多频率架构,导致高频反馈被拖慢或难以扩展新模态。LAG-Fusion允许各模态以原生频率异步运行,解决了这一矛盾,使得机器人可灵活结合不同速率的信息源,提高实时操控性能。
此前安全基准多聚焦于单一提示或固定输入接口,难以覆盖多模态条件组合带来的新风险。Multi2AV-Safety首次系统覆盖全部11种非单一条件配置,并揭示安全防护在组合风险感知上的能力缺口,为多模态生成安全评估提供了标准化工具。
此前视频生成模型仅擅长短片段、单场景,而FilmWorld针对长篇多场景、实体状态动态演化的复杂需求,首次形式化小说到电影生成任务,并引入智能体协作机制,将抽象文学转化为结构化电影蓝图。
传统多模态部署需要手工调整流水线布局与并行策略,FlashRT 通过自动化优化流程,显著降低了开发者的手工工作量,并大幅提升性能。
现有视频、机器人和仿真数据集通常只捕获状态、动作或观察的部分结构,CG-World首次系统化整理了工业CG管线中的完整中间状态,并显式记录反事实分支,为世界模型学习联合动力学和干预推理提供了结构化的监督信号,显著增强了可控生成和具身策略迁移的能力。
该框架首次将LLM智能体系统设计拆分为三个独立的图抽象,使得组件与执行策略可灵活复用,并通过递归节点支持层次化组合。相比以往耦合方式,提供了更清晰的设计模块化和可观测性。
此前手语视频生成依赖昂贵的大规模训练和推理资源,Text2Sign通过单GPU即可运行,显著降低了硬件门槛。但生成结果仅为低分辨率短片段,且文本条件控制效果有限,距离实用化仍有较大差距。
以往视频生成与世界模型评测多受限于输入模态单一,且提示与目标视频高度接近。该工作专门利用全模态输入,让每个模态只提供部分证据,要求模型跨模态联合推断潜在事件状态与未来动态,从而把评测重点从内容匹配转向世界推理。
此前视频生成评估主要依赖整体质量分数,无法指出具体违规或失败时刻。VeriPhy引入类型化物理义务和可审计证据链,使每个判断可追溯,提高了物理可靠性评估的准确性和透明度,推动了视频生成模型验证标准的进步。
此前创意智能体缺乏有效的视频学习方式,难以生成电影级视频。AVA-Encoder通过知识图谱和文本梯度优化,提供了一种结构化且可直接用于智能体推理和编辑的视频表示方法,显著提升了编码性能,并减少了系统提示词使用量,有利于开发更高效的视频生成智能体。