AgentJudgeBench：评估 LLM 法官在代理工具调用中的多难度基准

AgentJudgeBench 是首个系统研究 LLM 在代理工具调用工作流 DAG 上作为评判者可靠性的基准，包含 3808 个实例、六种拓扑和三个难度级别。研究显示，法官对齐度随任务难度单调下降，无真实答案时下降速度快 1.5 倍；硬查询时所有法官表现集中在 77-82%，表明存在结构性上限。

此前 LLM-as-a-judge 的研究多集中于开放式文本或偏好评估，未深入依赖关系驱动的工作流。本基准首次系统关注代理工具调用场景，揭示了任务难度主导的评估上限，且规模无法解决，提示构建可靠代理评估系统需超越模型扩展。

基准通过生成器产生不同难度的 DAG 工作流，并配对有无真实答案两种条件，测量法官对齐度。无真实答案时对齐度下降更快，说明缺乏参考时法官依赖自身判断，难度主导表现；提供真实答案反而降低部分模型对齐度，可能因过度锚定。提示任务难度是核心限制因素。

对于依赖 LLM 评估代理系统的产品团队，该基准表明简单增加模型规模难以提升评估可靠性，尤其是高复杂度任务。需开发领域特定评估协议，避免因法官误判导致代理输出质量失控。

• 构建企业级 LLM 评估仪表盘，集成结构化评估准则，可提升对齐度最高 6.5 个百分点。
• 针对代理工作流开发专门评测服务，帮助团队选择最优法官-生成器组合。
• 设计半自动评估流程，利用 QwQ-32B 作为参考基准，降低人工复核成本。

• 结构化评估准则在哪些具体场景下无法泛化？
• GPT-OSS-120B 的人类对齐优势是否适用于生产环境？
• 是否有可能通过数据增强或训练提升弱生成器下的评估上限？
• 其他前沿模型（如 GPT-5）是否也能观察到过度锚定效应？