审计全切片图像多模态基准中的数据泄露

arXiv发表的研究审计了病理学全切片图像多模态基准中的数据泄露问题。通过追踪患者级和机构级标识符，发现TCGA衍生基准中训练与测试集的病例重叠率达92.3%~100%，机构级重叠几乎完全。模型可从特征空间线性解码泄露，导致报告准确率被虚假高估，当前评估无法区分真正的多模态推理与对记忆化的机构及患者特异性特征的检索。

此前，基于这些基准报告的零样本性能被广泛视为进展，但该工作表明这些评估结果从根本上被数据破坏，无法反映真实泛化能力，可能误导病理AI领域的研发方向与资源投入。

数据泄露两种层次：患者级——同一病例的切片同时出现在训练和测试集中；机构级——不同病例因共享组织源站点而带有一致的染色批次与扫描仪特征。模型可以记住这些固定标识符而非理解病理内容，从而在评估中获得高分。

依赖TCGA衍生基准验证的病理AI产品，其宣称的零样本性能可信度骤降；开发者需重新设计评估流程避免泄露，否则可能向临床交付实际能力不足的模型，增加监管风险和合规成本。

• 开发自动化数据泄露审计工具，供病理AI团队在模型评估前筛查基准集中患者级与机构级重叠。
• 构建并开源无泄露的全切片图像多模态基准数据集，替换现有被污染评估体系。
• 为已有模型提供泄露影响校准报告，帮助客户区分模型真实泛化能力与记忆伪影。

• 除TCGA外，其他常用病理基准（如TCIA、CPTAC）是否存在类似程度的数据泄露？
• 该研究发现的泄露线性可解码特性是否适用于所有病理视觉语言模型，抑或与特定特征空间相关？
• 真实无泄露环境下，当前顶级病理VLMs的零样本性能究竟下降多少？
• 能否通过后处理（如去标识化与染色归一化）有效消除机构泄露，而不影响模型训练？