SkillSmith：学习组合参数技能与文本知识

SkillSmith 是一种新方法，将模型权重视为另一种模态，让LLM能够原生推理。它通过前缀调优实例化参数学习，结合前缀权重和文本数据，输出体现目标技能的新前缀权重。实验表明，该方法显著优于仅文本或仅权重的基线。

此前研究将文本知识与参数技能视为正交，分别通过组合/反思或权重合并处理，两种模式割裂。SkillSmith 首次将模型权重作为LLM可推理的模态，实现文本与权重的无缝集成，突破了单模态适应难以企及的性能壁垒。

SkillSmith 将前缀权重作为输入特征，与文本知识一起嵌入LLM，通过指令引导的生成，直接输出新前缀权重。这种方式让LLM在推理时综合两种信息，实现跨模态的参数合成，从而获得比单一模态更好的性能。

对于依赖LLM的Agent系统，该方法可提升自主任务解决能力，降低维护多个独立技能库的复杂性。但当前仅验证于学术场景，实际产品集成需评估前缀调优的计算开销，并确认其在生产环境中的稳定性与泛化性。

• 将SkillSmith集成到Agent框架中，实现文本与权重混合的技能库，提升复杂任务的执行效率。
• 开发基于SkillSmith的工具，允许用户通过自然语言指令直接生成可复用的参数化技能。
• 探索SkillSmith在持续学习场景的应用，减少灾难性遗忘，动态更新技能。

• SkillSmith在多种任务（如代码生成、多模态推理）上的泛化效果如何？
• 该方法在训练和推理时的计算成本是否可控？
• 与现有的参数高效微调方法（如LoRA）有何具体差异？
• 当文本与权重信息冲突时，模型如何权衡？