临床LLM中证据充分性提示的安全提升因评估者而异，帮助性代价因模型而异

一篇预印本研究测试了在临床LLM中使用证据充分性提示的效果。在1200个样本中，GPT-5.5、Claude Opus 4.8、Gemini 3.5 Flash和Grok 4.3在提示后的不安全过度自信从49.3%下降到24.7%，但降幅因评估者而异（如GPT-5.4-nano评估降24.7点，Claude Sonnet 5评估降13.1点）。帮助性代价（正确诊断率从80.3%降至50.3%）因模型不同：GPT-5.5几乎无损，Gemini下降58个百分点。盲审医生认为主评估者高敏感低特异。

此前安全提升测量常依赖单一LLM评估者，本研究首次系统揭示评估者校准差异能大幅改变安全增益的量化结果，且不同模型对同一提示的帮助性损失差异极大。这挑战了已有安全评测的可靠性，说明仅靠一个评估者或一个模型测试不能代表真实效果。

证据充分性提示强制模型在给出答案前确认证据是否充分，从而减少过度自信；但不同评估者对“不安全”定义的敏感性和特异性不同，导致安全增益测量结果不同。不同模型对提示的适应能力不同：GPT-5.5能保持几乎相同的正确率，而Gemini正确率大幅下降，表明模型内部推理机制对提示的鲁棒性存在本质差异。

产品团队在部署临床LLM时，不能依赖单一LLM评估者验证安全提升，需人工盲审或建立多评估者校验流程。不同模型对同一安全提示的适应性差异大，若直接套用提示可能导致部分模型帮助性严重下降，影响用户体验和业务指标。研发应针对具体模型定制提示策略。

• 开发多评估者联合评审平台，融合不同LLM和临床医生判断，稳定评估安全提升。
• 为帮助性损失严重的模型（如Gemini）设计替代提示方案，通过少样本微调或自适应提示长度降低代价。
• 在临床AI产品中内置实时安全监控，根据评估者反馈动态调整证据充分性提示的阈值。
• 基于此研究，推出模型安全评测服务，帮助客户选择最适合其临床场景的LLM与提示组合。

• 该证据充分性提示在更广泛临床场景（如急诊、病理）的效果是否一致？
• 主评估者低特异性（0.55）是否意味着安全提升被高估，实际过度自信减少可能小于24.7点？
• 模型特定的帮助性成本是否可通过模型微调或提示优化挽回？
• Blinded three-clinician review的具体评分标准是否可复现，不同医疗中心医生间一致性如何？