A*-Thought-V2：基于 LLM 几何动态的高效潜在推理

该论文提出 A*-Thought-V2 框架，将 Chain-of-Thought 建模为隐藏状态轨迹，用显式与隐式交错的潜在架构替代硬删除。方法把问题、步骤和解答表示投影到 3D PCA 空间，测量每步局部转移与全局问题到解答方向的对齐程度，对齐步骤保留为显式文本，偏离步骤压缩为连续潜在 token。训练采用 stepwise embedding forcing 与 label forcing。在 Qwen3.5-9B 和 Qwen3.6-27B 上，六个域内外基准平均准确率最高提升 2.6%，响应长度最多减少一半。

此前压缩 CoT 的方法要么通过硬剪枝丢失中间信息，要么缺少连续压缩的原则性判据。该工作把推理步骤的方向角作为可解释指标，既决定哪些步骤保留为文本、哪些转为潜在 token，又通过角度变化刻画探索、收敛与精炼阶段，使推理效率与推理过程结构直接挂钩。

机制在于用 3D PCA 空间中的方向对齐度替代启发式剪枝：局部转移与全局问题到解答方向一致时保留显式推理，偏离时压缩成单个潜在 embedding，并用软多模态词表分布监督该 token，而非硬 one-hot 标签。这样在不完全丢弃中间信息的前提下降低上下文与计算开销。

对研发与产品成本而言，该方法指向更短输出与更高单位计算准确率，可降低推理服务的 token 成本与延迟。产品侧可在长链推理、Agent 多步规划等场景中压缩中间步骤，同时保留可解释的方向角用于监控推理是否偏离目标。

• 在内部推理服务中复现该框架，对 Qwen 系列模型测试响应长度减半后的延迟与成本变化。
• 把方向角作为推理监控信号，在 Agent 产品中标记偏离全局目标的步骤并触发人工或模型复核。
• 针对客服、代码生成等长链任务，评估将冗余步骤转为潜在 token 后的准确率损失是否可接受。

• 除 Qwen3.5-9B 与 Qwen3.6-27B 外，该方法在其他模型家族与规模上是否同样有效尚未被证据确认。
• 六个基准的具体名称、任务类型与评测协议未在证据中列出。
• 响应长度最多减少一半的条件，以及准确率提升是否在所有基准上一致，证据未说明。
• stepwise embedding forcing 与 label forcing 各自的贡献缺少消融结果。