简短思考与智能延迟：面向边缘LLM代理的校准推理框架

arXiv 论文提出 TSDS 框架，通过轻量收敛探针在动作稳定时停止本地推理，结合困惑度规则将高不确定性动作升级至云端。在 GSM8K、HotpotQA、MBPP 及机器人规划四个基准上，相比仅延迟基线，每轮推理计算量减少 43%-73%，同时维持可证明的奖励和云端调用率保证。

此前边缘 LLM 代理要么全本地推理导致计算超支，要么全云端依赖网络延迟，TSDS 首次在保证可靠性和云端调用上限的前提下，显著降低本地推理计算量，使复杂多步任务在低功耗边缘设备上可行。

框架包含两个协同机制：(1)轻量收敛探针监测动作分布，一旦稳定即停止推理以减少冗余步骤；(2)基于困惑度的延迟规则，当本地不确定性过高时自动将行动移交云端模型。两者通过多目标 Learn-Then-Test 过程联合校准，在端到端轨迹上同时保证期望奖励和云端调用率不超过预设阈值。

对集成 LLM Agent 的边缘产品（如智能家居、机器人、移动设备），可直接降低推理芯片的算力要求或延长电池续航；同时云端调用次数可控可预测，便于成本预算和 SLA 设计。

• 在低功耗 IoT 设备上部署 TSDS 驱动的 LLM Agent，实现离线或低带宽下的多跳问答与代码生成。
• 将 TSDS 作为边缘推理 SDK 的一部分，提供给智能音箱、扫地机器人等产品，实时动态搭配本地与云端推理。
• 开发面向开发者的校准工具包，允许用户根据自身边缘设备算力和网络条件定制推理预算与延迟阈值。

• TSDS 框架是否需要针对不同边缘平台（如 ARM 与 x86）分别调参？
• 在真实延迟和能耗上的实测增益是否与论文中计算量减少比例一致？
• 高不确定性场景下云端调用增加的通信延迟对用户体验的影响是否已在评估中覆盖？
• 框架能否扩展支持多模态输入（如视觉、语音）的边缘 Agent？