多模态大语言模型能理解OCT图像吗？

研究者推出OCT-Bench，这是一个包含10076道多选题的基准测试，覆盖OCT图像理解的感知、认知和推理三个维度共20项细粒度任务。对20个代表性多模态大语言模型的系统评估显示，当前模型在OCT理解上远未达到可靠水平，且医学域自适应或增大模型规模并未一致改善各能力层级的性能。

现有基准将OCT理解简化为粗粒度疾病分类或孤立问答，而OCT-Bench首次模拟临床解读全流程，从视觉感知到临床推理进行分层评估，揭示了当前模型在复杂医学影像任务中的系统性不足。

基准按照真实临床工作流设计层级能力分类体系，涵盖成像属性、视网膜解剖、病变特征、空间关系、疾病评估及治疗决策等任务，通过细粒度多项选择测试模型各环节能力，而非仅最终分类正确率。

开发基于OCT的AI辅助诊断产品时，需注意现有通用多模态模型在此任务上可靠性不足，模型规模或领域微调未必带来稳定提升，需针对感知-推理链条设计专用评估与优化策略。

• 为OCT图像分析场景研发专用小模型，避开通用大模型的高成本与低可靠性。
• 基于OCT-Bench的分层能力图谱，对现有模型进行针对性微调，优先提升感知与认知任务准确率。
• 将OCT-Bench作为产品上线前的必经测试，确保模型在临床推理维度达到最低可信阈值。

• 哪些具体训练数据或架构设计能稳定提升模型在OCT-Bench各层次上的表现？
• OCT-Bench中的多选题形式是否充分反映临床实际决策中的不确定性？
• 医学域自适应在哪些条件下能带来性能改善？现有实验未能解释其不一致性。