探索语言智能体与非语言智能体的协作

Hugging Face 论文提出 LLAMA-Bench，包含六项协作国际象棋任务，研究语言模型与非语言智能体（象棋引擎）的协作。实验发现，将非语言智能体的连续表示直接投射到 LLM 的 token 流中（潜在状态内化）优于口头化整合，语言模型在训练中始终保持“口头化债务”。14B 参数的 LLAMIA 模型在任务上达到或超过专家模型及 GPT-5.1，并在分布外泛化中胜出。

此前 LLM 或专门智能体各自受限，协作需将非语言智能体的信息转成文字，可能丢失信息。本研究提出“潜在状态内化”避免口头化，直接提升协作效果，并为多智能体系统设计提供新路径，可能改变机器人、游戏等领域的人机协作方式。

非语言智能体（如象棋引擎）的连续表征比稀疏文字摘要信息更丰富。口头化过程会压缩信息，形成“口头化债务”。潜在状态内化将连续表示作为特殊 token 直接输入 LLM，保留精细信息，并在环境状态变化时动态重编码，使 LLM 无需用自然语言表达就能利用这些信息，从而提升协同决策质量。

对依赖 LLM 编排子系统的产品（如机器人控制、游戏 AI）有直接影响：可考虑采用类似“状态内化”机制替代自然语言传递信息，减少信息损失，提升任务成功率；同时该方法或能降低对超大模型的依赖，小模型在特定任务上可能接近前沿模型，影响模型选型和成本。

• 在机器人或游戏 AI 产品中，尝试用潜在状态内化替代自然语言接口，提升复杂任务完成率。
• 评估 LLAMIA 模型在非棋类任务（如物流调度）中的表现，探索其作为可迁移协作模块的潜力。

• 口头化债务是否在其他领域（如非棋类游戏或真实机器人任务）中同样显著？
• 潜在状态内化的计算开销和实现复杂度是否适合实时应用？
• 该方法对弱语言模型（规模小于 4B）的收益是否一致？