使用 NVIDIA NeMo Switchyard 跨模型路由 AI 智能体工作负载

NVIDIA 发布了开源库 NeMo Switchyard，用于在 AI 智能体工作流中根据请求、智能体状态、工具结果、模型能力、成本和延迟等信号，动态地将任务路由到不同模型。该库包含模型池、信号、决策策略、执行和反馈等核心组件，支持 LLM 分类器路由、级联路由和可训练前缀路由器等多种方式，旨在将多个专用、本地和前沿模型整合到一个智能体系统中。

此前 AI 智能体通常依赖单一模型，难以平衡成本与能力。NeMo Switchyard 提供了开源、统一的动态路由方案，使智能体能够根据任务变化选择合适的模型，将常规任务留在高效模型上，在复杂任务时切换到更强模型，从而提升整体效率与灵活性。

Switchyard 通过模型池管理一组互补模型，并收集来自请求、智能体状态、工具结果等信号，由决策策略选择路由方式。执行阶段使用路由器、代理和后端，反馈机制则根据质量、成本、延迟和可靠性优化决策。路由策略包括 LLM 分类器、级联路由和可训练前缀路由器，后者可能通过训练为输入前缀选择最合适的模型。

对依赖多模型的产品，Switchyard 可降低推理成本并提升响应质量，因为常规任务可路由到廉价模型，复杂任务才使用昂贵模型。开发者需集成该库并配置模型池与路由策略，可能增加初期研发成本，但长期可优化资源利用。用户体验可能更稳定，但需要监控路由决策的准确性。

• 在智能客服中集成 Switchyard，将简单查询路由到本地小型模型，复杂工单升级到云端大模型，以平衡成本与响应速度。
• 为代码助手工具配置级联路由，先用快速模型生成初步结果，对低置信度结果再调用更强大模型修正。
• 利用 Switchyard 的可训练前缀路由器，根据输入前缀特征自动选择模型，减少人工配置策略的负担。

• Switchyard 的决策策略在生产环境下的准确性与稳定性是否有公开基准测试数据？
• Switchyard 支持哪些主流模型提供商（如 OpenAI、Anthropic、开源模型）的集成，是否有现成适配器？
• 可训练前缀路由器需要多少训练数据和计算资源，是否适合中小团队快速上手？
• Switchyard 的路由决策延迟对实时性要求高的场景（如对话）影响有多大？