AI 认知的多维评估框架（MAAC）：面向文本型 AI 系统的过程导向评估理论框架

arXiv AI 发布论文提出 MAAC 框架，这是评估文本型 AI 系统认知过程的九个维度框架，包括认知负荷、工具执行、内容质量、记忆整合、复杂度处理、幻觉控制、知识迁移、处理效率和过程结果一致性，并基于认知科学理论进行了初步验证。

传统评估只关注输出准确率，无法揭示 AI 的推理过程。MAAC 首次将评估转向过程，为理解模型如何思考、整合记忆和处理复杂度提供了系统维度，可能推动行业从结果导向转向更深层评测标准。

MAAC 借鉴 Marr 的三层假设、Baddeley 的工作记忆模型和 Sweller 认知负荷理论，将认知科学原理映射到 AI 评估，通过九个维度拆解推理过程，并验证其覆盖度和预测性，使过程性评估同时具备理论依据和可操作性。

产品团队可参考 MAAC 设计评估方案，从九个维度定位模型弱点，例如幻觉控制或记忆整合，从而指导模型选择、提示词优化和训练数据调整，但证据未提及具体部署细节。

• 开发基于 MAAC 的过程评估工具，作为现有基准测试的补充，用于模型选型或版本迭代。
• 利用 MAAC 的维度生成诊断报告，帮助用户了解 AI 在认知负荷或复杂度处理上的表现。
• 结合幻觉控制维度，构建针对高风险场景（如医疗或财务）的幻觉预防机制。

• MAAC 框架是否已在实际模型上验证，效果如何？
• 九个维度如何量化，是否提供标准化指标？
• 该框架是否支持多模态模型，证据未提及。