谁该进入评估集？Agent可扩展性平台回归评估集的价值分类法驱动策划流水线

本文提出一种基于能力分类法的流水线，用于在Agent可扩展性平台上策划回归评估集。该流水线应用于Microsoft 365 Copilot，输入智能体规范和客户评估集，通过分类器和调用质量评分器，对每个查询输出接纳、丢弃、替换或人工审核的决策，以在查询数量上限内最大化能力覆盖。

首次发布面向平台的评估集策划流水线。此前评估框架均面向客户，而基准压缩研究将基准视为固定池。此流水线将流入的客户评估集集成到平台回归集，解决了平台团队面临的回归经济学悖论，是工业界此前缺失的方案。

流水线将客户查询映射到平台能力分类法，对每个查询进行接纳、丢弃、替换或人工审核决策。分类器结合确定性提取和LLM语义推理，输出查询-能力判定；IQ评分器评估查询对每个能力的调用充分性，使新查询能替代旧查询；合并器通过规则决策级联比较覆盖和质量。

对Agent扩展平台的产品团队，可在发布节奏限制下，持续吸收客户评估集，降低回归遗漏风险。对研发流程，引入了明确的评估集更新管道，可能减少人工筛选成本，提升测试质量。对用户，模型能力覆盖更全面，但具体体验影响未述。

• 在Agent开发平台上集成该流水线，向企业客户提供回归集健康度报告，作为付费服务。
• 开发类似的能力分类法及IQ评分器，用于内部AI功能回归测试的自动化评估集管理。
• 将流水线产品化为API/SDK，供其他AI平台团队调用，输出查询决策。
• 结合客户分享的评估集，建立行业基准合作网络，提升平台模型质量竞争力。

• 流水线在Microsoft 365 Copilot之外的可扩展性如何？
• LLM语义推理部分的错误率及对决策质量的影响未披露。
• 人类审核环节的效率与成本未提及。
• 是否有独立验证或已公开的实验结果？