信息缺失下医学AI评估：同供应商评审者和人类评分者改变表观安全性

一项研究在信息缺失场景下评估医学AI安全性。研究者删除HealthBench对话最后一半用户输入，测试Claude Opus 4.8、GPT-5.5、Grok 4.3和Gemini 3.5 Flash，并用四个LLM评审加临床医生评审打分。结果发现评审选择显著改变安全指标（Fleiss' kappa=0.65），存在同供应商正向关联（p=0.04），且LLM评审比临床医生更宽容（认可不确定性范围66-84% vs 52%）。

此前医学AI安全评估以封闭式、多模态基准为主，本研究首次扩展到开放式临床对话在信息缺失下的场景，并揭示了评审者本身作为测量工具会引入系统性偏差（同供应商偏好、LLM更宽容），这改变了业界对安全评价客观性的认知。

LLM评审者可能因训练数据或模型架构产生整体更宽松的评分倾向，而同一供应商的评审模型对自家模型存在额外正向偏差（vote-level logistic回归确认）。这种机制导致安全排名可能因评审选择而逆转，实际安全水平被高估。

使用LLM评审医学AI安全性将引入偏差，尤其自家评审套自家模型时存在正向偏差；需引入独立临床评审或跨供应商多模型评审来校正，这会增加评估流程的时间与成本，也可能改变模型安全宣称的可靠性。

• 开发跨供应商的第三方医学AI安全评估服务，采用多模型评审加临床专家锚定。
• 在医学AI产品中内置缺失信息识别与主动澄清功能，作为安全能力指标。
• 构建带临床专家校验的自动化安全评估管道，降低同供应商偏见影响。

• 这种同供应商偏见是否存在于其他模型家族（如开源模型）？
• LLM评审更宽容的现象是否因临床领域不同（如放射科vs急诊）而异？
• 能否通过调整提示词或加入临床指南来减少LLM评审的宽容度？
• 研究者公布的详细实验代码与数据是否可复现？