AgentSLABench：资源约束下代理系统的评估与基准测试

AgentSLABench 是一个面向 AI 代理的资源感知评估框架，在声明资源预算下测量正确性及延迟、成本、计算、内存和网络使用。它提供 16 个任务环境和 5 个通用基线代理，发现专用代理在 5 个核心任务中的 3 个上取得 100% 成功率，而通用基线在 4/5 领域任务上失败。该框架还引入效率调整成功率（EASR），并发布完整基础设施和密封测试集以支持可复现评估。

现有基准只关注准确性，忽略资源消耗，导致高成本模型被高估。AgentSLABench 引入多维资源剖析和效率调整成功率，使评估更贴近生产环境，推动代理系统向高效实用方向发展。

通过将任务正确性与资源消耗（如延迟、成本、内存）联合度量，EASR 指标能揭示高精度但高成本的方案在生产中不可行。其使用 Docker 隔离、预算声明和密封测试集，确保评估可复现且公平，机制类似代码剖析器扩展至代理系统。

产品团队可用 AgentSLABench 评估代理在不同资源预算下的实际表现，优化模型选择与部署成本。开发过程中可早期发现资源瓶颈，避免上线后性能问题。运维方面，可依据 EASR 决策使用专用还是通用代理，提升成本效率。

• 集成 AgentSLABench 到 CI/CD 流程，对代理版本进行资源与正确性回归测试，确保每次更新不退化。
• 基于 EASR 指标开发代理选型指南，帮助客户根据预算选择专用或通用模型，提升客户满意度。
• 针对资源受限场景（如边缘设备）优化专用代理，利用其在 3/5 核心任务上 100% 成功率的优势进行市场推广。

• AgentSLABench 的 16 个任务环境覆盖度是否足以代表真实生产场景？
• EASR 指标在不同商业场景中的权重分配（如延迟 vs 成本）是否可配置？
• 框架对多代理协作或复杂工作流的支持程度如何？