多模态

此前关于LLM服务的研究多聚焦于技术提案，缺乏对其实际采用情况的了解。该研究揭示了真实项目中框架和方法的使用模式，有助于产品经理和技术决策者理解市场现状，指导技术选型和架构设计。

相比依赖云端的健康助手，ECHO 可在消费硬件本地运行，数据不外传，符合 GDPR 和 KVKK，可能降低隐私合规成本。其安全层超越零样本 LLM，如 Llama 3.3 70B，表明小型模型结合专用模块可达到实用水平，对资源受限场景有意义。

现有智能体系统在跨设备场景中缺乏有效状态管理，多智能体系统也未维护跨设备、跨时间的紧凑携带状态。该论文提出以状态设计为核心的原则，并通过基准测试证明其优势在多种 MLLM 设置下稳健，为跨设备智能体的设计提供了新方向。

此前多模态时间序列LLM难以处理临床数据的稀疏性、异步性和不规则采样模式。ClinPRISM通过专用架构解决了这一关键局限，并以极低的计算成本（仅16个令牌）实现了快速推理（0.15秒），使临床问答更实用。

此前 ISAC 相关研究（如基于学习的感知、资源分配、RIS、边缘智能、多智能体协调和弹性网络）大多孤立发展，缺乏统一视角。该综述首次将智能体 AI 与 ISAC 系统性地结合，提出闭环框架和成熟度分级，为这一领域提供了统一的研究坐标系，有助于后续研究聚焦、比较和推进。

此前训练后适配技术文献分散，不同技术族、模型类别与部署场景之间难以比较，也缺乏统一术语，导致无法清晰描述模型如何被修改。该论文首次引入系统化六维分类法，统一了术语并为模型变更追踪和治理提供了分析框架，填补了这一空白。

此前开源统一多模态模型在生成质量和速度上普遍落后于闭源系统，Boogu-Image-0.1证明在有限算力下通过优化数据质量、训练管道和推理时缩放即可达到接近闭源产品的水平，且完全开源，降低了高端图像生成与编辑模型的使用和定制门槛。

通用病理基础模型在细粒度亚型分型上表现不足，而 CorePath 展示了针对乳腺专科微调的有效性，在公开基准上超越了领先模型，并显著降低非乳腺幻觉，意味着专科化基础模型可能成为病理 AI 提升临床可用性的关键路径。

该论文将临床落地失败归因于结构性错位，而非通常的技术瓶颈，挑战了行业主流认知，可能影响AI医疗产品的设计、评估和投资方向，促使从业者重新审视以像素为中心的模型策略。

此前视觉语言模型虽具备感知能力，但在多图像比较、变化检测和多步视觉推理等需要分析推理的任务上表现有限。SD-MAR通过合成数据和专门设计的强化学习方法，显著提升了这类能力，甚至超越GPT-4.1，且不损害原有任务表现，为实际应用中的视觉对比分析提供了可行方案。

现有长文档视觉问答方法缺乏显式机制来表示和验证证据组合过程，导致准确性和可追踪性受限。DocTrace 将问题重构为证据图推理，显式构建带节点级溯源的证据图，不仅提升性能，还提供可追溯的推理路径，有助于提升复杂文档理解的可信度。

此前医疗基准多以考试为导向，未能充分反映呼吸专科对多模态解读、纵向风险评估及全程管理的要求。RESPClinBench基于真实临床数据构建，聚焦临床决策任务，并系统评估了模型在影像、药物安全等方面的风险，为医疗AI在专科场景的可靠性提供新标尺。

此前医学AI安全评估以封闭式、多模态基准为主，本研究首次扩展到开放式临床对话在信息缺失下的场景，并揭示了评审者本身作为测量工具会引入系统性偏差（同供应商偏好、LLM更宽容），这改变了业界对安全评价客观性的认知。

该审计表明，即使经过发布的基准也可能存在系统性、未检测到的错误，导致模型排名和临床性能声明不可靠。这警示其他依赖类似基准评估模型的产品团队需要警惕结果的可重复性。

此前VLM在细粒度损伤评估中虽能语义分类，却在空间定位上不可靠，常产生幻觉；该研究通过专用分割模型与LangGraph流程结合，大幅降低幻觉率，为安全要求高的自动评估场景提供了更可靠的路径。

此前AI代理的记忆主要依赖外部模块（如向量数据库），Metis首次让基础模型内部具备原生记忆能力，无需外部存储或检索，可能大幅降低延迟和系统复杂度，提升长期记忆的利用效率。

此前认为收集LLM知识截止日期后的声明即可实现无污染评估，但研究表明即使声明发布时间晚于截止日期，仍有两到三成可通过公开知识直接或综合验证，这意味着动态评估的“无污染”假设不成立，行业对事实核查模型真实能力的判断可能被高估。

通用多模态模型在工业 CAD 设计任务上表现不足，单一任务的微调又过于狭窄。IndustryForge-27B 通过整合多个领域子语料并统一训练，在 CAD 基准上大幅领先基座模型且超越闭源强模型，同时保持通用能力不退化。这为工业智能体从零件到装配体、从设计到软件操作的全栈应用提供了可行路径，可能降低工业自动化设计的入门门槛。

此前视频摘要方法依赖离散关键帧和片段描述，忽视了帧的全局重要性，可能导致理解不连贯和信息丢失。HAS从全局视角计算连续高亮分布并引导注意力，有望提升摘要的连贯性和信息完整性。

此前隐喻理解基准多依赖孤立子任务，缺乏证据支持的解释，难以评估模型是否真正基于视觉和文本线索建立映射。M$^3$R-Bench 首次提供统一的、含人验证标注的多模态隐喻数据集，并揭露现有模型跨模态证据与映射不匹配的问题，推动多模态推理研究更加重视视觉证据。

此前多模态推理要么依赖高成本的显式思维链（CoT），要么需要昂贵训练的潜在推理，且直接移植文本推理方法效能不稳。AGS首次提出无需训练、基于注意力比率的切换机制，在降低推理时延的同时提升准确率，为高效多模态推理提供了新路径。

此前医学大模型基准多依赖考试知识或孤立任务，无法反映心血管护理的纵向、多模态和安全关键特性。MyoCardBench首次覆盖整个护理连续体，使用真实临床数据和专家验证，提供了更贴近实际工作流的标准化评估方法。

此前对多模态大语言模型可视化能力的评估多局限于简单图表（如柱状图），缺乏对科学可视化（如流场、体积渲染）的理解测试。本研究首次使用标准化科学可视化素养测试对比人类，揭示了模型在真实科学场景下的能力短板，为AI在科研辅助工具中的应用提供关键参考。

此前视觉语言护栏普遍采用链式推理，导致延迟高、吞吐低，难以跟上实时流式输出。ResponseGuard证明无需推理即可高效检测响应有害内容，速度提升150倍，使实时多模态安全审核成为可能。

宏观布局在工业设计中仍需大量人工精调，MAGE首次通过多智能体框架自动完成布局优化，且在时序指标上超越人类专家，改变了此前AI布局只能接近或略低于人类的局面，可能显著降低芯片后端人力成本并提升性能。

此前基于复杂推理harness的智能体难以用开源SFT/RL栈端到端训练，因为后者无法原生表达有状态多进程推理。OpenForgeRL解耦训练与推理，使研究者能在实际部署环境中直接训练和改进智能体，大幅降低了Harness-based Agent的训练门槛。

此前地理空间 AI 需从头训练或大量标注数据，GeoFMs 通过预训练+微调/提示大幅降低门槛，使非专业团队也能使用 SOTA 模型，同时保持下游数据安全，加速遥感分析在农业、城市规划等领域的应用。

此前共情聊天机器人和3D化身多为独立研究方向，缺乏开源且整合共情回复、情感感知和统一表情语音渲染的代理式系统。EmpaAva将共情能力带入实时视频交互，并用单一LLM协调感知与表达，为构建有情感、可检查的虚拟交互产品提供了可复用的开源方案，有助于降低相关产品研发门槛。

现有MLLM虽能处理多种输入，但推理仍偏向单一主导模态，导致跨模态推理脆弱。C^3^PO首次通过配对结构和分层设计系统诊断此类失败，揭示模态主导是主要瓶颈，而非组合能力不足，为模型改进提供明确方向。

现有知识图谱补全在零样本和少样本场景下效果差，且多模态信息与 LLM 先验可能引入噪声。DuPLeR 通过双路径结构推理与多模态增强，提升了少样本 KGC 的鲁棒性，为数据稀缺环境下的知识推理提供了可行的新方案。