一种经济高效的多模态LLM推理框架用于不规则临床时间序列问答

arXiv发表论文提出ClinPRISM，这是一个针对不规则临床时间序列问答的经济高效多模态LLM推理框架。它采用不规则感知多尺度编码器、时间证据蒸馏器和渐进对齐策略，使用4B参数LLM骨干，仅用16个时间序列令牌，推理延迟0.15秒/问题，在基准测试上达到当前最优性能。

此前多模态时间序列LLM难以处理临床数据的稀疏性、异步性和不规则采样模式。ClinPRISM通过专用架构解决了这一关键局限，并以极低的计算成本（仅16个令牌）实现了快速推理（0.15秒），使临床问答更实用。

ClinPRISM首先用不规则感知多尺度编码器在不同时间尺度捕获稀疏临床证据；然后用时间证据蒸馏器跨尺度整合并压缩成少量LLM兼容令牌；最后通过渐进对齐策略将不规则轨迹与LLM文本嵌入空间对齐。训练使用了3万对临床时间序列和多尺度描述以及4.1万条指令调优实例。

该框架可直接应用于医疗AI产品中的临床问答功能，显著降低计算资源需求（4B参数LLM即可运行），同时保持毫秒级响应速度，有利于在资源受限的医院或边缘设备中部署。

• 将ClinPRISM集成到电子病历系统的智能问答模块，辅助医生快速检索患者历史数据
• 开发面向护士的移动端临床时间序列问答工具，用自然语言查询异常体征变化
• 基于该框架构建临床决策支持系统，实时分析不规则监护数据并生成问答式报告
• 为制药公司设计患者临床试验数据智能分析平台，支持非结构化时间序列的自然语言查询

• ClinPRISM在实际临床环境中的鲁棒性和准确性是否经得起多中心验证？
• 其训练数据是否覆盖足够多的疾病类型和采样模式？
• 与更大规模LLM（如7B、13B）结合时性能是否可进一步提升？
• 是否支持流式或增量更新的时间序列输入？