PathAgentBench：全切片病理图像上证据寻找视觉语言模型的基准测试

PathAgentBench是一个评估视觉语言模型在全切片病理图像上寻找证据能力的基准测试，包含图像到文本匹配、文本到图像检索、诊断区域定位和多尺度推理四个任务。它基于1822张TCGA全切片图像和17135条由十名病理学家标注的诊断路径，另有一个190张乳腺癌全切片的私有测试集。对20个通用、医疗和病理专用模型的评测结果显示：多尺度推理准确率超93%，跨模态匹配超50%，但诊断区域定位性能极差，最佳交并比低于0.09，甚至不如简单的中心启发法。自主探索时无条件命中率从低倍率的0.522随放大倍数降低。

此前病理基准测试多基于预裁剪补丁或预提取特征，无法评估模型从千兆像素原图中自主寻找证据的能力。PathAgentBench首次直接考核该能力，并揭示当前视觉语言模型在精确区域定位和自主探索方面的显著短板，为模型改进指明了关键方向。

基准测试通过诊断树结构将不同放大倍率的嵌套区域、尺度特定发现和路径级诊断关联起来，迫使模型综合多尺度证据推理。诊断区域定位任务要求模型在千兆像素级别精确找到病变区域，这超出了现有视觉语言模型的定位能力，因为它们缺乏对高分辨率图像中微小目标的精准注意力机制或空间推理能力。

基于全切片病理图像的AI辅助诊断产品若需自主证据寻找，诊断区域定位能力是当前瓶颈。现有模型在该任务上近乎无效，可能导致误诊或漏诊。研发团队需优先改进定位模块，例如引入目标检测分支或分层注意力机制；同时自主探索路径规划能力也需加强，否则产品难以实现真正的全自动化分析。

• 开发结合视觉Transformer和分割网络的病理区域定位专用模型
• 构建更大规模、更精细的病理诊断区域定位标注数据集（如边界框或分割掩膜）
• 探索弱监督或自监督方法，利用现有WSI级标签提升定位能力
• 设计基于强化学习的全切片自主探索策略，优化倍率切换与区域聚焦路径

• 诊断区域定位表现差主要是受限于模型架构（如缺乏位置编码）还是训练数据（如缺乏定位标注）？
• 私有乳腺癌数据集上的测试结果是否与公开基准一致？不同癌种的表现是否有差异？
• 是否可能通过多实例学习或注意力池化方法将现有模型迁移到定位任务上？
• 当前基准测试是否涵盖了所有主要病理诊断场景（如炎症、肿瘤类型判别）？