多模态

此模型热度与下载量显示开发者对多模态开放权重模型的兴趣，其稀疏 MoE 架构可能提升推理效率，对应用开发有潜在影响。

Inkling是开放权重的多模态模型，同时支持文本、图像和音频输入，可降低开发者构建多模态AI应用的门槛。此前多模态模型多由大公司闭源提供，Inkling为社区提供了可自由定制和部署的选择。

相较 Nex-N2，该系列把视觉从输入模态提升为智能体感知环境、验证结果的交互接口，并首次完成万亿参数规模的系统化后训练，同时把训练环境与任务类型扩展到更多真实场景，指向长周期任务的连续执行能力。

相比GLM-5.2，GLM-5.3-Flash在性能提升的同时将价格降至十分之一，首次引入混合注意力架构和mHC以降低长上下文服务成本，标志着智谱在高效多模态模型上的重要进展，可能改变市场定价和部署格局。

这是 DeepSeek-V4 系列首次引入多模态能力，从纯文本模型扩展至视觉理解，标志着其模型能力范围的实质性扩展。基准测试显示多模态智能体任务（如 ApexBench、Agents' Last Exam）上较此前版本有明显提升，且文本能力基本持平。

Qwen3.8 是开源 Qwen 系列最新一代，相比 Qwen3.5 和 3.6 在核心能力上有实质性提升，且 27B 为紧凑型稠密模型，易于部署，并原生支持图像视频，扩展了多模态应用场景，对开源社区和开发者有重要意义。

该模型是首次以开放权重形式发布的 Qwen4 架构预览，代表了对 LLM 核心组件交互方式的根本性重新思考，而非单纯参数规模或上下文的扩展。它可能为高效可扩展的 AI 发展提供新方向，并影响未来模型的设计范式。

相较此前同类模型，该模型宣称在 prefill 阶段每 token 仅激活 8B 参数、decode 阶段 16B，并把持久化 KV cache 占用压缩到 DeepSeek-V4-Flash 的约八分之一，指向长上下文与高输入量场景的成本变化。

以往推理模型为提高准确性往往需要大量思考token，ThinkingCap通过微调在不牺牲质量的前提下大幅压缩token，使模型在保持性能的同时显著提升推理速度并降低成本。

相比原始 Qwen3.5-9B，该 SFT checkpoint 在多项评测上明显提升，尤其是通用 agent 与网络安全任务，说明小米正把自身生成的训练数据用于改造第三方开源基座，并以 9B 规模切入 agentic 场景。

此前开源多模态大模型多以稠密架构为主，端侧部署往往受内存和算力限制。此次以 MoE 架构实现 35B 总参数、3B 激活参数，并称可在 3GB 内存端侧运行，若属实，将降低多模态模型在终端设备上的部署门槛。

这是世界首个开放的3T级模型，通过新架构KDA和AttnRes以及Stable LatentMoE框架，激活16/896专家，整体缩放效率比上一代Kimi K2提升约2.5倍，使更大规模的开源多模态智能体模型成为可能。

这是首个在消费级硬件上无需云端即可运行的、整合了完整代理能力（推理、工具调用、故障恢复）的 300 亿参数模型，可能改变了代理类应用的部署模式，降低了对云端的依赖。

此前多模态检索通常需要 OCR 或单独的视觉编码流程，文本与图像往往不在同一嵌入空间。这次开源提供了同一空间内的文本与图像多向量嵌入，并同时覆盖服务端索引与端侧查询两种规模，9B 与 0.6B 的组合让多模态检索的部署选择更明确。

dots3-note preview 是 dots3 系列首款开放权重模型，提供 512K 长上下文和多模态支持，且为最轻量级成员，可能降低多模态推理成本。其出现可能丰富开源模型生态，为开发者在长上下文和多模态场景提供新选择，但作者未知，需关注其来源与可信度。

相较 Mistral Large 3，Mistral Large 4 在 Code Arena: WebDev 上的得分从第 130 名升至第 45 名，分数提高 304 分，且同时覆盖 Agent Arena 与 Code Arena 的 WebDev、Text、Vision 三个方向。这是 Mistral 开放权重模型在竞技场评测中一次可量化的位置变化。

此前多模态模型多依赖预训练视觉编码器并均匀采样视频帧，导致实时流式感知时计算开销大、速度慢。Mage-VL 直接从零训练视觉编码器，并依据编解码器原理动态分配视觉标记，大幅减少标记数量，提升推理速度，为视频理解提供新的高效思路。

此前文档解析模型多分别面向数字文档或拍摄文档，TeleOCR 试图用单一约 1.2B 参数框架覆盖两类场景，并已放出权重与技术报告。若作者所述评测结果成立，开源方案在文档解析上的可选范围会进一步扩大。

该模型相比前代 K2.6 在编码代理能力上有实质性提升，同时显著降低了推理时的思考 token 消耗，这意味着在复杂软件工程任务中可更高效地使用模型，降低算力成本。

相比以往需分块处理的 OCR 模型，Unlimited-OCR 宣称支持一次性长视界解析，可能降低复杂文档（如长合同、书籍）的多步预处理成本，提升整体处理效率。

此前 DeepSeek V4.1-Flash 的可用性仅限于 DeepSeek API 层面，此次由 WorkBuddy 将其接入自有平台，意味着第三方产品已能直接向用户提供该模型能力，并叠加两周免费试用这一获客动作，多模态模型的落地渠道由此扩展。

这是 DeepSeek 新架构家族的首批模型之一，同时覆盖原生视觉与 MoE 稀疏激活两条路线。KV cache 需求大幅下降并伴随 API 降价，意味着同等显存与存储条件下可承载更长上下文或更高并发，对成本敏感的多模态应用门槛降低。

此前开源模型在综合智能评测与超长上下文、多模态能力上通常难以同时对标顶级闭源模型。Step 5 Preview 以 44 分进入全球开源模型前三，并把单任务成本压至 Claude Opus 5 的 1/8，意味着开源阵营在能力与成本两个维度同时逼近闭源旗舰。

Qwen3.8-Flash 作为 Qwen4 架构的早期预览，在训练成本大幅降低（仅为前代 1/9）的同时性能全面超越前代，且开放权重，这标志着多模态 MoE 模型在效率和可及性上迈出实质性一步，可能推动行业成本结构和竞争格局变化。

这是 GLM-5 系列首次推出原生多模态模型，并在智能指数上对标顶级模型，同时以极低定价策略切入市场。开源免费获取模型权重，配合低价 API，显著降低了企业和开发者采用高性能多模态模型的门槛，可能影响现有模型选型和成本结构。

此前音乐生成工具的输入通常以文本提示为主，v6 将输入扩展到图片、视频和语音备忘录，并加入对已创建歌曲的精确修改能力，意味着从一次性生成转向可迭代编辑，同时多模态输入降低了非专业用户表达音乐意图的门槛。

通义千问兑现开源承诺，推出参数更小的Qwen3.8-27B，性能却超越前代Plus级模型，且支持极长上下文，并采用宽松的Apache 2.0许可，这降低了开发者使用和二次开发的门槛。同时开放2.4T超大规模模型权重，为研究社区和商业应用提供了新的选择，可能推动多模态和长文本场景的落地。

dots3-note Preview 的开源为开发者提供了一个轻量且支持长上下文和多模态的模型选择，降低了长程智能体与多模态应用的门槛，可能推动相关领域的技术普及。

此前多模态模型多针对单模态或简单组合，此次 FLUX 3 Video 在 OpenRouter 平台向所有人开放，提供一个基础上同时覆盖视频、音频、图像和动作预测的统一模型家族，降低了多模态应用开发的接入门槛。

以往推理与图像生成通常由不同模型或流程完成，SenseNova U1 将两者统一，可能简化多模态任务的处理方式，降低集成复杂性，并提高内容生成的连贯性。