JevAgentHarness：与 LLM 共享控制权的决策模型评测、部署与训练

论文提出 JevAgentHarness，用于将 agent 每步的选项式决策委托给决策模型 Jev，降低对大 LLM 的调用成本。作者构建 AgentDecisionBench，测量从孤立问题到控制运行中 agent 的表现，并训练开放 4B 模型 AgentDecision-4B，使用 Jev 答案标注 agent 出错后到达的状态。结果显示相似任务上成本降低 81.1%–89.0%、速度提升最高 2.5 倍，任务成功率不明显下降。

此前 agent harness 几乎每步都调用大 LLM，长任务延迟和成本高；该工作把选择类决策下沉到更小的决策模型，并给出评测基准和阈值机制，说明决策委托在成功率可控的前提下可以显著降低单价与耗时。

多数 LLM 调用最终是“下一步调用哪个工具”的选择题。Jev 类决策模型直接作答，省去大模型推理。难点在于何时信任决策模型：论文为每个选择在 agent 自身轨迹上拟合置信阈值，高于阈值交给决策模型，低于阈值回退给 LLM。同时因既有决策模型没见过 agent 犯错后的状态，作者用 Jev 答案标注这类状态来训练 4B 模型。

对 agent 产品而言，可在不换大模型的前提下按任务类型混合调度：高频工具选择由小决策模型承担，复杂或低置信场景回退 LLM，从而压缩推理成本与响应时间。研发侧需要增加决策模型评测、阈值拟合和轨迹数据采集环节。

• 在 agent 编排层引入置信阈值路由，将工具选择类调用切换至决策模型并保留 LLM 回退。
• 针对自家业务轨迹训练或微调小决策模型，用现有 LLM 输出作为标注数据。
• 搭建以任务成功率、单任务成本、端到端延迟为核心的决策模型评测流水线。
• 将决策模型切换能力包装为 agent 框架的独立模块，便于按任务类型配置。

• AgentDecision-4B 在更广泛、更复杂 agent 任务上的成功率是否仍可保持？
• 置信阈值拟合需要多少条自身轨迹数据，冷启动成本如何？
• 决策模型出错后由 LLM 接管能否稳定恢复，恢复率数据未给出。
• 模型、数据与 harness 的实际开源范围与许可条件尚未确认。