Pandora智能路由：AI模型分配中的成本感知价值估计

arXiv论文提出Pandora's Router与Pandora's Bidder两种策略，将多AI模型查询路由中的价值估计成本建模为Pandora's Box问题。实验显示，Router在三个领域（多LLM基准、RAG专家、推理时间可变LLM）中，能在少用昂贵估计器的情况下达到与穷举估计相当的分配质量。

此前多数路由策略假设价值估计是免费的，但实际中准确评估专家成本高。本文首次将“成本感知”引入路由决策，在保证质量的同时降低计算开销，为多模型系统的资源优化提供了新思路。

借鉴Pandora's Box最优搜索理论，将每个专家视为一个“盒子”，打开盒子（即评估专家价值）需要成本。在高斯信号模型假设下，存在闭式信息价值表达式，决定是否值得进一步评估。集中式Router统一决策，分布式Bidder让专家自助评估后再报价，以此平衡评估成本与分配效率。

对AI平台或API网关，可直接采用Router策略降低推理成本，尤其适合RAG或多模型组合场景。对产品而言，可能减少延迟和费用，但需要实现价值估计器，增加一定工程复杂度。

• 在LLM网关中集成Pandora's Router，根据查询特征动态选择是否调用昂贵评估模型，降低整体推理成本。
• 为RAG系统设计成本感知的路由层，在检索后根据信息价值决定是否深度推理，提升效率。
• 开发分布式投标机制，让各模型根据自评成本报价，用于去中心化的模型市场或联邦学习场景。

• 实验中的三个领域具体表现出怎样的成本节省比例？
• 高斯信号模型假设在真实流量分布下是否成立？
• Pandora's Bidder在竞争估计存在噪声时如何影响分配效率？
• 该方法与现有商业路由方案（如OpenRouter）的对比结果如何？