LEDGERMIND：利用结构化证据账本进行来源约束的多模态智能体推理

Hugging Face Daily Papers 发布了关于 LEDGERMIND 的论文，提出将多模态智能体轨迹视为受来源约束的状态机，通过结构化证据账本（Structured Evidence Ledger）管理工具输出，并采用三层接地协议、自适应双路径调度器和事件触发验证修复引擎，以提升多模态推理的准确性和轨迹级忠实度。实验显示其在多个基准上改善了答案准确性和轨迹可靠性。

此前多模态智能体评估主要关注最终答案准确率，无法区分答案是否基于真实证据，导致幻觉和错误被掩盖。LEDGERMIND 引入来源约束机制，将接地检查细化到实体和数值层面，并保证修复过程不引入未经来源证实的内容，从评估和机制上提升了推理的可信度。

LEDGERMIND 将智能体轨迹建模为来源约束状态机：工具输出被规范化为结构化证据账本，推理和决策只能引用账本中的活跃条目；接地检查在实体和数值层面进行；修复通过类型化状态转换实现，并带有正式的非放大保证。此外，自适应双路径调度器根据问题复杂度匹配推理深度，事件触发验证修复引擎针对四个常见失败模式（不支持中间推理、幻影接地、过度推理、修复放大）进行干预，从而在提高准确性的同时保证轨迹的忠实性。

对基于多模态智能体的视觉问答产品，LEDGERMIND 可减少幻觉和错误放大，提升用户对答案的信任度。其来源约束机制要求工具输出必须可追溯，可能增加系统设计和评估成本，但能显著改善复杂推理场景下的输出质量，特别适合医疗、金融等高可靠性应用。

• 在多模态问答系统中集成结构化证据账本，强制推理过程引用工具输出，以提升答案可解释性。
• 针对实体和数值幻觉问题，引入三层接地协议进行细粒度校验，减少关键信息错误。
• 利用自适应双路径调度器，根据问题复杂度动态调整推理深度，降低简单查询的计算开销。
• 在视觉推理评测中添加轨迹级忠实度指标，替代单一准确率评估，优化模型迭代方向。

• LEDGERMIND 在不同领域（如医疗、金融）的泛化能力未经证据验证。
• 其实施所增加的计算和工程成本未被量化，实际部署可行性未知。
• 事件触发验证修复引擎的具体触发条件和错误类型覆盖面未完全公开。
• 与基线方法的对比细节（如基准数据集的具体改进幅度）在证据中未提供。