ActICL：面向智能体多模态上下文学习的后训练方法

arXiv 论文提出 ActICL，用于多模态大模型的智能体式上下文学习。它通过工具增强推理训练 MLLM 智能体，让模型在迭代推理中判断自身信息缺口，据此定向检索候选示例，再用已有上下文过滤、精炼或重新检索。当智能体判断上下文足够或达到资源上限且满足用户请求时，将上下文交给作答模型。采用两阶段后训练联合优化检索与作答。

此前多模态 ICL 的示例检索多采用固定打分一次性取回，容易带入冗余和噪声；上下文感知检索虽支持增量取回，但检索策略仍由外部流程决定，模型本身并未学会判断自己需要什么示例，ActICL 把这一判断能力交给模型。

ActICL 把示例获取变成智能体的推理与工具调用循环：模型先识别当前推理中的信息缺口，再发起定向检索，随后用已有上下文筛选候选、精炼上下文或再次检索。两阶段后训练同时优化“取什么”和“怎么答”，使示例数量可自适应，而非固定 top-k。

对做多模态 RAG 或 Agent 的团队，这意味着示例检索层可从固定规则改为可由模型自主控制的策略，减少人工调参和冗余上下文，进而降低 token 成本并提升回答准确率；后训练流程也需要覆盖检索与作答的联合优化。

• 在多模态 RAG 产品中引入模型自主判断信息缺口的检索控制层，替代固定 top-k 示例注入。
• 针对客服、设计审阅等场景，验证自适应示例数量对推理成本和准确率的实际收益。
• 将 ActICL 的两阶段后训练思路用于内部 MLLM，构建可迭代检索的评测基准。

• 论文摘要未披露七个基准和三个 MLLM 的具体名称，需查阅全文确认。
• 11.6 个百分点的提升在不同任务类型上的分布与方差尚不明确。
• 工具增强推理带来的额外延迟和 token 成本未在证据中说明。
• 两阶段后训练的数据构造与算力门槛是否适合中小团队复现，尚无信息。