Metis：记忆基础模型

Metis是首个记忆基础模型原型，通过将持久且动态演化的记忆状态直接内化到基础模型骨干中，并设计原生记忆程序实现自主存储与利用。该模型采用新架构，历史信息被压缩进模型并通过记忆注意力访问。训练使用大规模记忆特定数据和多优化目标，在线维护无需梯度，仅需前向传播。推理时权重冻结，记忆状态自主变换。实验表明Metis在记忆相关任务上表现优异。

此前AI代理的记忆主要依赖外部模块（如向量数据库），Metis首次让基础模型内部具备原生记忆能力，无需外部存储或检索，可能大幅降低延迟和系统复杂度，提升长期记忆的利用效率。

Metis定义原生记忆为持久动态记忆状态（在模型骨干中）和原生记忆程序（通过模型计算自主存储和利用信息）。新架构引入记忆注意力机制，使历史信息以压缩状态保存在模型中，训练时通过自监督和目标函数学习记忆行为，推理时记忆状态仅通过标准前向传播更新，无需反向传播或梯度。

若采用Metis，AI产品可减少对外部数据库或检索模块的依赖，降低架构复杂度和推理成本。记忆更新仅需一次前向传播，适合实时场景。但需重新训练或微调现有模型，且当前原型可能对模型大小和记忆容量有约束。

• 构建原生记忆的对话代理，可在长时间会话中自主保留上下文，无需手动管理或RAG。
• 在任务型AI（如个人助理、机器人）中集成Metis，实现无外部存储的终身学习和记忆。
• 利用Metis的无梯度更新特性，在边缘设备上运行轻量级记忆模型，降低硬件要求。
• 在现有大模型基础上，通过Mid-training方式注入Metis架构，提升模型的长上下文处理能力。

• Metis在大规模参数（如1000亿以上）上的记忆容量和更新效率如何？
• 与当前主流的RAG+外部记忆方案相比，在准确性、鲁棒性和可解释性上的具体差距？
• 训练所需的大规模记忆特定数据具体是什么？是否公开？
• Metis是否支持多模态输入（如图像、音频）的记忆？论文未明确提及。