使用引导接地多模态大语言模型增强可解释心脏诊断

研究人员提出一种引导接地多模态框架，将权威ECG教科书和指南离线蒸馏成结构化解读指南，作为固定知识块注入多模态大语言模型（MLLM），与ECG图像、Grad-CAM热图和CNN事实包共同输入，生成结构化诊断报告。在PTB-XL测试集上，该方法相比CNN+Grad-CAM+MLLM基线，将生成印象的BERTScore从0.818提升至0.953，语义质量和一致性显著改善，同时保持分类性能。

此前基于CNN+Grad-CAM的MLLM框架生成的ECG报告解释与诊断标准关联弱，可信度和可重复性不足。本文通过注入结构化临床知识，使报告术语和诊断依据与官方指南对齐，提升了可解释报告的可信度与实用性。

框架离线蒸馏权威ECG教科书和指南为结构化解读指南，作为固定知识块注入每个样本。多模态LLM同时处理ECG图像、Grad-CAM热图、CNN事实包以及该指南，从而在生成报告时严格遵循指南术语和诊断标准，减少幻觉。

可直接用于开发辅助诊断系统，自动生成符合指南的结构化ECG报告，降低医生报告书写时间，提高诊断一致性。但需验证在真实临床环境中的部署成本（如硬件要求、指南更新维护）。

• 基于该框架开发ECG辅助报告SaaS产品，面向医院和诊所提供自动化可解释诊断报告。
• 将此指南注入方法扩展到其他医学影像（如胸部X光、视网膜扫描）的诊断报告生成。
• 构建可定制知识库，允许不同医疗机构注入本地临床指南或专家规则，实现个性化报告生成。

• 该方法在不同ECG设备、不同人群数据上的泛化能力如何？
• 指南注入是否可能限制LLM发现新的异常模式，或降低对罕见病的敏感性？
• 在其他模态（如超声、病理）中使用相似的指南注入策略效果是否类似？