Groc-PO：面向真实多模态大语言模型的接地上下文偏好优化

研究人员提出Groc-PO框架，通过在对象接地、上下文接地和接地推理三阶段进行偏好优化，减少多模态大语言模型中的视觉幻觉和错误传播。实验表明，相比标准DPO，Groc-PO在幻觉指标上取得更优性能。

此前标准DPO仅在最终答案层进行偏好优化，无法抑制早期接地阶段的错误传播。Groc-PO首次在多个接地阶段引入阶段特定的偏好监督，从根本上减少跨阶段错误累积，提升了多模态模型的可信度。

Groc-PO构建了包含对象接地、上下文接地和接地推理三阶段的偏好数据集GCPD，每个阶段提供正负样本，使模型能明确学习正确接地与推理路径。这种阶段式监督避免了仅靠最终答案反馈导致的信用分配问题，强化了上下文依赖的推理能力。

开发多模态AI产品时需重新设计偏好优化流程，增加对接地阶段的标注和训练成本；但可显著降低视觉幻觉和捏造内容，提升用户信任，适用于图像问答、视觉辅助等场景。

• 为图像问答系统集成Groc-PO，减少对实际内容的错误描述以提升可信度
• 开发基于Groc-PO的视觉辅助工具，帮助视障用户获取更准确的场景信息
• 将Groc-PO包装为多模态模型微调服务，面向电商或医疗影像领域提供幻觉抑制方案

• Groc-PO在大规模多模态模型上的训练效率与稳定性如何？
• 是否需要在所有三类接地阶段都收集偏好数据，还是可针对特定任务简化？
• 该方法对非英语多模态场景的适应性和跨语言接地效果尚未验证
• Groc-PO能否直接迁移到视频理解或实时交互场景？