面向约束型agent的认知转换行为测试

该论文借用认知心理学的set-shifting概念，研究LLM agent在工具隐藏可靠性变化时的适应能力。他们构建了含冗余工具库的基准测试，隐蔽切换可靠工具组。发现agent默认会收敛到少数重复工具使用模式，调用份额集中在几个离散值。测试开放权重LLM，观察到不同失败模式，并发现工具集呈现方式（竞争或互补）影响路由动态。

此前LLM agent工具选择研究多假设工具可靠性稳定，该工作首次系统评估agent对工具隐蔽可靠性变化的适应能力，揭示了agent容易陷入固定使用模式、难以灵活切换的缺陷，为构建更鲁棒agent提供新视角。

论文使用分支调度方法，在agent会话中设置隐藏边界，将可靠工具组切换与无切换对照配对。定义set-shifting准确率为每个切换窗口后路由到目标工具组的联合概率。通过对比开放权重LLM在相同任务集上的表现，发现agent在几次调用内就收敛到小规模重复例行程序，且工具集框架（竞争vs互补）影响路由动态。

如果agent产品依赖工具选择（如API调用、插件路由），隐藏可靠性变化可能导致agent固执使用已失效工具，降低任务成功率。产品需设计工具可靠性实时检测或周期性重新评估机制，并注意工具列表呈现方式对基础模型决策的影响。

• 为agent增加工具可靠性监控模块，在检测到成功率下降时主动触发重新选择策略
• 设计工具集呈现方式测试（如并列展示多个相似工具并标注竞争/互补关系），观察其对路由准确率的实际影响

• set-shifting准确率与实际业务指标（如任务完成率、延迟）之间的量化关系尚未明确
• 不同规模或架构的LLM是否在set-shifting测试中表现出系统性差异，证据仅涉及开放权重模型
• 工具集呈现方式（竞争或互补）在商业agent产品中如何具体实现才有效，尚待实践验证