多模态

此前多数视觉语言模型面向 2D 图像，处理 CT 时只采样少量切片或把体数据压缩成少量 token，三维信息在进入语言模型前已被丢弃。该模型改为原生 3D 编码并保留全部 token 与位置标记，改变的是 CT 输入进入语言模型的完整度。

StayCharted 是 Product Hunt 上发布的一款产品，定位为让用户用自己的分类体系训练 AI，可同时处理文本和图片，并强调无需写代码。它面向希望按自身业务分类逻辑定制 AI 的用户，试图降低自定义模型训练的门槛。目前公开信息仅来自该产品在 Product Hunt 的条目，未披露发布方背景、具体功能边界与使用方式。

此模型热度与下载量显示开发者对多模态开放权重模型的兴趣，其稀疏 MoE 架构可能提升推理效率，对应用开发有潜在影响。

此前 AIVC 基准主要集中在模拟层，即预测细胞响应，缺少对模型如何解读实验证据、提出生物学假设的评测。该工作把评测重心移到解释层，并提供可追溯来源的图表问答数据与开放式回答评审方法，补上了 AIVC 评测链条中的一环。

Inkling 是罕见的大规模开源多模态 MoE 模型，原生统一处理图像、文本和音频，无需独立编码器，并拥有 1M 上下文窗口。其 Day-0 工具支持和多种量化版本降低了本地部署门槛，可能推动多模态应用和长上下文任务的发展。

Sierra 在 Product Hunt 发布了 Multimodal Agents，这是一类可在语音、文字与视觉之间切换的 AI 智能体，发布信息仅说明其支持多模态交互，未披露具体客户场景、接入方式或底层模型。

Inkling是开放权重的多模态模型，同时支持文本、图像和音频输入，可降低开发者构建多模态AI应用的门槛。此前多模态模型多由大公司闭源提供，Inkling为社区提供了可自由定制和部署的选择。

此前消费级护肤 AI 多停留在单点识别或对话建议，缺少安全边界、审计与工具调用约束。该工作把路由、工具、数据库推荐、隐私与安全检查和审批串联为可追踪流程，并分开评估视觉模型与系统级智能体行为，使非诊断护肤助手的工程可行性有了量化参照，而非仅凭模型精度宣称可用。

相较此前同类信息，这次值得注意的变化有两点：一是多模态能力被纳入轻量级嵌入模型，二是以开放形式发布。但证据只有一条标题，未提供与前代或竞品的对比数据，因此其实质影响目前无法量化确认，只能视为一个待验证的发布信号。

Milliseconds.ai 是一款在 Product Hunt 上发布的产品，定位为通过单一 API 对文本和图像进行快速 AI 决策。它面向需要在文本与图像两类输入上快速得到判断结果的使用者，把原本可能需要分别接入不同模型或服务的流程，收敛为一个统一调用入口。目前公开信息仅来自其产品页一句话描述，具体模型、性能指标与适用场景尚未披露。

相较 Nex-N2，该系列把视觉从输入模态提升为智能体感知环境、验证结果的交互接口，并首次完成万亿参数规模的系统化后训练，同时把训练环境与任务类型扩展到更多真实场景，指向长周期任务的连续执行能力。

此前评估多依赖单一 benchmark 分数，难以反映 agent 轨迹、多模态输出与安全失效。该框架把评估对象从结果扩展到过程与证据可信度，并主张安全关键项可覆盖聚合分数，避免平均分掩盖严重问题，同时对接治理框架与国际标准、欧盟监管要求。

此前 Claude 的输出主要集中在文本与代码，此次把能力延伸到可视化仪表盘和视频生成，且 Docs、Slides、Design 从部分套餐放开到全部套餐含免费账户，意味着多模态产出与普惠可用性同时推进。

Inkling 是一个开放权重（open weights）的多模态模型，参数量达 975B，专为微调（fine-tuning）场景设计。该产品允许开发者直接获取预训练权重，并在此基础上针对特定任务进行后训练或定制化调整。目前未公布发布方及具体部署方式，但开放权重特性暗示用户可自行托管和修改模型。

相比GLM-5.2，GLM-5.3-Flash在性能提升的同时将价格降至十分之一，首次引入混合注意力架构和mHC以降低长上下文服务成本，标志着智谱在高效多模态模型上的重要进展，可能改变市场定价和部署格局。

此前医学视觉语言模型难以从多维 cine 图像中直接得出定量测量结果，多停留在定性描述。该工作把外部分析工具接入推理链路，并给出多队列基准和量化对比，使医学 VLM 从“看图说话”向可核验的数值评估推进，并显示工具调用能力可被训练显著提升。

图像领域的“参考图+文本提示”已相当成熟，而音频领域在用户视角仍停留在纯文本生成阶段。这一对比凸显多模态生成能力在不同模态间存在明显落差，音频编辑与音效制作的工作流尚未被同等程度地工具化。

HFlow 是一款面向机器人领域的可扩展多模态数据管道产品，于 2026 年 8 月 26 日在 Product Hunt 上发布。它旨在帮助机器人开发团队高效处理和整合多种类型的数据，以支撑机器人系统的训练与运行。

这是 DeepSeek-V4 系列首次引入多模态能力，从纯文本模型扩展至视觉理解，标志着其模型能力范围的实质性扩展。基准测试显示多模态智能体任务（如 ApexBench、Agents' Last Exam）上较此前版本有明显提升，且文本能力基本持平。

此前交通信号控制多依赖人工设计的交通状态或独立感知模块，视觉观测与控制决策之间存在断层。该工作把多视角路侧视频直接接入控制策略，并用跨路口协同感知覆盖网络级效率，为端到端信号控制提供了可与其他方法在真实数据集上对比的新基线。

该视频将前沿VLM/VLA模型引入实际机器人操作，区别于以往单纯模型演示，展示了从模型选型到物理控制的完整路径，可能降低开发者构建物理AI应用的门槛。

QwenLM 团队发布了 Qwen-MM-Plugins，这是一套插件，旨在让智能体原生支持多模态能力。它能够处理图片、视频和文档，支持视频编辑以及 3D/CAD 数据处理，从而将多模态模型升级为多模态智能体。该项目的演示效果可在其 GitHub 仓库中查看。

该模型是首次以开放权重形式发布的 Qwen4 架构预览，代表了对 LLM 核心组件交互方式的根本性重新思考，而非单纯参数规模或上下文的扩展。它可能为高效可扩展的 AI 发展提供新方向，并影响未来模型的设计范式。

此前长视频理解多依赖逐帧粗描述或带损嵌入的多模态 RAG，计算开销大且丢失时序与细节；LazySloth 把检索优化问题聚焦到 VLM 自身的查询相关信息筛选上，在不明显损失准确率的前提下大幅提速，并缩小开源模型与闭源模型差距。

Cosmos 3的后训练方法此前缺乏公开实例，此次直播首次展示了两家公司的实际应用，说明NVIDIA正推动Cosmos 3从基础模型走向行业定制，降低机器人等领域开发者的使用门槛。

小红书技术团队开源 BigMac，一种针对多模态大模型训练的依赖安全嵌套流水线新范式。它利用 LLM 流水线作为主干，在不打乱执行顺序的前提下嵌入编码器和生成器计算，相比基线实现 1.08x-1.9x 加速，同时保持激活显存有界。BigMac 已作为 dots 多模态模型训练的核心组件投入生产。

Qwen3.8 是开源 Qwen 系列最新一代，相比 Qwen3.5 和 3.6 在核心能力上有实质性提升，且 27B 为紧凑型稠密模型，易于部署，并原生支持图像视频，扩展了多模态应用场景，对开源社区和开发者有重要意义。

此前多模态假新闻检测与 AIGC 检测基本是两条并行任务：前者判断内容真假，后者判断是否由模型生成，二者在数据和评估上彼此分离。该工作把生成性信息纳入真实性推理，并配套发布面向生成内容场景的数据集，意味着检测目标从单一真假标签转向对证据来源与生成方式的联合刻画。

若该模型确实达到报道所称的万亿级规模，意味着 Mistral 从区域性开源厂商进一步进入超大规模模型竞争，与美中头部实验室在同一量级上对标，而非仅在中小模型或开源权重上竞争。但这一变化目前仅来自单一信源的一句话描述，尚缺乏可验证依据。

Meta AI 超级智能实验室发布了首个开放权重模型 Muse Glimmer，并已上线 OpenRouter。这是一款 30B 参数的密集文本+图像模型，采用 Apache 2.0 许可证，定位为可靠的本地智能体，MCP Atlas 得分 75.5，SWE-Bench Pro 得分 51.2。