混合优势估计与统一critic的VLM智能体强化学习

该研究提出HyGAE框架，用于视觉语言模型（VLM）作为智能体在多轮决策环境中的强化学习。通过混合优势估计和统一critic模型，同时优化token级和turn级目标。在五个多轮任务环境中平均成功率91%，比其他方法平均提升10%。

此前方法要么只优化token级、要么只优化turn级，本工作实现两者联合优化，显著提升多轮决策任务的性能，使VLM agent在连贯推理方面取得实质性进步。

理论推导了token和turn两种优化级别的优势函数形式，并证明使用合适折扣因子和学习目标后，统一critic可同时估计两种价值，从而在actor-critic框架中联合优化两种目标。

• 该方法在真实商业产品（如客服机器人）中的部署成本与收益如何？
• HyGAE框架对模型规模和推理速度的具体影响如何？
• 是否适用于非视觉的语言模型环境？