AI4AI 框架：用于视觉 Token 剪枝策略的自动设计

本文提出 AutoPrune，一个用于多模态大语言模型视觉 token 剪枝策略设计的免训练框架。它引入包含 131 个可复用原子的 Token Pruning 领域特定语言，将搜索状态表示为对基础策略的残差修改，以指导 LLM 自动设计剪枝算法。在 14 个多模态基准和三个 MLLM 主干上的实验表明，AutoPrune 能有效降低推理成本，同时保持模型性能。

现有视觉 token 剪枝方法依赖人工设计的启发式规则和反复试错，难以适应多样化的剪枝目标和模型架构。AutoPrune 首次尝试利用 LLM 自动生成剪枝策略，将算法设计过程自动化，有望大幅降低调优成本并提升剪枝效果的泛化性。

AutoPrune 的核心在于设计一种搜索状态表示，将 LLM 的算法知识与视觉 token 剪枝的结构化要求相连接。通过 TPDSL 提供原子操作，并将搜索状态表示为对强基础策略的残差修改，从而缩小搜索空间，引导 LLM 关注高影响力的策略组件，最终生成有效的剪枝策略。

对于使用多模态大模型的产品，此框架可减少推理时的计算开销，降低延迟和成本，尤其适用于视觉 token 密集的场景。研发团队无需手动设计剪枝算法，可借助 LLM 自动生成策略，加速模型优化迭代，同时可能提升模型在多种任务上的推理效率。

• 基于 AutoPrune 开发自动模型优化工具，为内部多模态模型提供剪枝策略自动生成服务
• 集成 TPDSL 到模型部署流水线，实现按需剪枝，降低推理成本
• 提供可视化界面，让产品经理或研究者配置剪枝预算并观察策略效果
• 将框架适配到不同 MLLM 架构，形成可复用的效率优化插件

• 论文中未披露实验的详细性能数据，剪枝效果的具体幅度未知
• TPDSL 的 131 个原子是否覆盖所有剪枝场景，可扩展性不明
• AutoPrune 在不同 MLLM 主干上的通用性是否经过充分验证
• 框架的实际训练和部署成本是否如声称的无需训练