MedFailBench: 临床医生构建的开源医疗AI安全边界检测基准

MedFailBench 是一个由临床医生构建的开源基准，专门用于检测医疗人工智能的安全边界失败。当前版本 v0.2.1 包含 44 个经临床医生审核的合成案例，标注了安全门类型和严重性等级（1-5），并提供了实时排行榜预览、分类法及自动化归档管道。该基准未使用真实患者数据，也未进行临床验证或发布模型排名。

大多数医疗 AI 基准只衡量模型是否答对，而 MedFailBench 系统性地标记失败的具体安全门类型（如漏报紧急升级、不安全远程剂量）和严重性，为评估和提升医疗 AI 安全性提供了此前缺失的结构化工具。

基准通过合成临床案例，搭配一套安全门分类法和严重性评分量表，自动记录模型响应并归档运行结果，使开发者能定位模型在哪些安全边界上失败。

对于医疗 AI 产品团队，此基准可直接用于测试模型在关键安全场景的表现，帮助识别并优先修复高风险错误（如证据编造、不安全出院确认），降低产品上线后的医疗风险。

• 使用 MedFailBench 的 44 个案例对现有医疗 AI 模型进行安全压力测试。
• 根据安全门分类改进模型在远程剂量、紧急升级等高风险场景的推理逻辑。
• 将自动归档管道集成到研发流程中，持续追踪模型安全失败趋势。

• 44 个合成案例能否覆盖真实临床环境的复杂度？
• 基准是否计划纳入真实病例或更多专科场景？
• 自动管道是否兼容主流医疗 AI 推理框架？
• 未来是否会发布基于此基准的模型安全排行榜？