DocOps：面向复杂文档操作自主智能体的可验证基准

研究团队提出DocOps，一个基于真实实践分层分类法的可验证评估框架，将文档操作分解为原子维度和逐步升级的工作流复杂度。系统评估了代表性闭源和开源模型，发现即使最先进的智能体在处理高度耦合、长距离任务时仍有显著局限。分析揭示了三种关键失败模式：长期状态跟踪崩溃、浅层语义验证和对结构元数据的破坏性编辑。

此前缺乏对智能体文档操作能力的系统性、可验证评估。DocOps提供了确定性验证框架，暴露了当前最强智能体在维持全局文档一致性方面的能力边界，表明它们在复杂、长距离文档任务中远未可靠，对AI文档助手的实际部署构成挑战。

DocOps通过分层分类法，将文档操作分解为原子维度（如插入、删除、修改）和递增的工作流复杂度（单步、多步、跨文档），然后基于确定性验证（比较最终文档与预期结果）评估智能体性能。这种设计揭露了智能体在跟踪长期状态和验证语义方面的根本缺陷。

对于构建AI文档助手的团队，该研究表明需改进智能体的长期状态跟踪机制、增强语义验证能力，并避免破坏文档结构元数据。现有基于LLM的文档编辑产品在复杂任务上表现不可靠，需要针对性优化以提升可靠性和用户信任。

• 开发基于DocOps分类法的多步文档操作训练数据集，用于提升智能体的复杂任务处理能力。
• 设计专用外部记忆模块或图注意力网络，以缓解长期状态跟踪崩溃问题。
• 构建轻量级语义验证器，在每步操作后检查语义一致性，避免浅层验证错误。
• 集成文档结构元数据保护功能，确保智能体编辑时不破坏样式、引用等元数据。

• DocOps基准是否覆盖了真实世界中所有常见的文档操作场景？
• 短期状态跟踪（如修改后立即撤销）是否也在失败模式中被评估？
• 是否有特定模型架构（如长期记忆增强）在DocOps上表现更好？
• 该基准的验证方法是否适用于不同文档格式（如PDF、Word、HTML）？