BioSecBench-Surveillance：用于AI代理病原体基因组监测的可验证基准

BioSecBench-Surveillance 是一个包含100项评估的可验证基准，用于测试AI代理从原始测序数据和监测背景中推断正确分析流程的能力。在16个模型-工具组合的3962次尝试中，最强配置Opus 4.8 with PI和GPT-5.5 with Codex均仅达到50.2%的通过率，且所有代理在高阶流程选择上仍存在大量错误。

病原体基因组监测的瓶颈正从数据生成转向分析，该基准首次提供了可验证的标准化评估，显示当前最强AI代理在分析流程选择上仅略超一半正确率，远未达到可靠替代人类分析师的水平，这改变了业界的乐观预期。

基准覆盖从分类到基因工程检测的七类任务，通过确定性评分强制评估代理的完整决策链。代理的错误集中在参考数据库、阈值、过滤器和归一化参数等环境选择上，而非核心工作流的调用——这揭示了当前AI在上下文敏感参数调优上的系统性短板。

开发AI辅助分析工具时，需将重点从工作流执行准确性转向环境参数选择的可靠性，可能需要引入人类干预点或上下文感知的参数推荐模块，以避免因阈值或参考库选择不当导致误判。

• 开发辅助选择参考数据库和阈值的上下文感知推荐系统
• 设计交互式调试界面，允许分析师在代理推荐的流程上快速调整参数并验证结果
• 训练专用模型对样本类型、测序技术等上下文特征敏感性进行增强
• 构建基于该基准的持续测试套件，作为AI分析系统可靠性指标

• 基准中的100项评估是否覆盖真实疫情中可能遇到的罕见或新型病原体？
• 代理在参数选择上的错误模式是否可以归纳为少量可修复的缺陷类型？
• 不同模型-工具组合之间的性能差异（如Opus 4.8 vs Sonnet 4.6）是否具有统计显著性？