测试时对齐大型视觉语言模型：轨迹引导的结构化采样方法

arXiv AI 于 2026 年 8 月发布论文，提出一种用于大型视觉语言模型（LVLM）的测试时对齐方法，通过轨迹引导的结构化采样实现动态推理期优化，在多个多模态推理数据集上显著提升准确率，且不引入过高推理开销。

传统 RL 后训练对齐方法资源消耗大，且训练目标与推理分布存在不匹配。该研究提出在推理阶段通过结构化采样进行动态对齐，为视觉推理任务提供一种更高效、可扩展的对齐替代方案，可能改变 LVLM 对齐的实践路径。

该方法先通过轨迹学习算法构建推理记忆库，将复杂问题分解为有序推理模式；测试时从记忆库收集轨迹建立全局结构先验，再用迭代马尔可夫链蒙特卡洛（MCMC）算法对推理迹进行局部多目标优化，从而实现动态的推理期对齐。

该技术可在不显著增加推理成本的情况下提升多模态模型在复杂视觉推理任务上的准确率，有助于产品在保持响应速度的同时改善视觉问答等功能的可靠性，并可能减少对大规模 RL 后训练资源的依赖。

• 将轨迹引导采样集成到视觉问答产品中，提升复杂场景下的回答准确率。
• 利用推理记忆库构建可复用的推理模板，加速多模态模型的迭代优化。
• 在推理服务中提供动态对齐选项，按需调整推理深度以平衡成本与质量。

• 论文的具体实验数据集和性能提升幅度尚未在证据中明确。
• 相比现有 RL 后训练方法，资源消耗的具体节省程度未量化。
• 该方法是否适用于视频等更复杂的视觉输入尚未说明。
• 推理记忆库的构建成本与维护机制未详细披露。