多模态大语言模型科学可视化素养基准测试研究

该研究对六种多模态大语言模型（MLLM）进行了科学可视化素养基准测试，使用包含49项标准化试题的评估集，并与485名人类参与者数据对比。结果显示模型表现不均衡：Gemini整体最强，超过人类平均水平；开源模型低于人类基线。模型在科学插图、搜索和空间理解任务上表现较好，但在纹理/集成可视化及定量估计方面表现较差。

此前对多模态大语言模型可视化能力的评估多局限于简单图表（如柱状图），缺乏对科学可视化（如流场、体积渲染）的理解测试。本研究首次使用标准化科学可视化素养测试对比人类，揭示了模型在真实科学场景下的能力短板，为AI在科研辅助工具中的应用提供关键参考。

研究采用封闭世界协议，用18种科学可视化图形覆盖8种技术、11种任务类型。模型通过图像+问题输入进行推理，其表现差异源于对纹理、流线、颜色映射等科学可视化元素的理解能力不足，导致在定量估计、流动方向解读和编码映射等任务上失败。

对于科学可视化工具或科学教育产品，当前LLM无法可靠替代人类完成精确数值读取、流程解读等任务。若产品依赖模型自动分析科学图表（如气象图、医学影像），需人工校验。开源模型表现更差，成本虽低但风险更高。

• 开发针对科学可视化（如纹理、流场）的专用微调数据集，提升模型在特定任务上的表现。
• 设计人机协作界面，由模型生成初步解读后人工修正定量数据。
• 将科学可视化素养评估纳入模型选型流程，优先选用Gemini等表现更好的闭源模型。
• 教育领域可基于研究结果设计适合AI辅助学习的可视化内容，避开模型弱项。

• 模型在动态科学可视化（如动画流场）上的表现如何？当前测试仅为静态图像。
• 通过微调或提示工程能否显著改善模型在纹理/集成可视化上的表现？
• 不同科学领域（如医学、气候）的可视化素养是否存在差异？
• 人类参与者数据中是否存在跨技术/任务的表现分布，以更精确比较模型短板？