将推理轨迹提炼为软件工程任务的咨询提示

arXiv 论文提出一种方法：先用低资源 LLM 识别推理模式能避免的错误，再用大模型生成摘要解释，最后总结为简短的咨询性提示，以期在不总是启用推理的情况下提升软件工程任务表现。

此前减少 LLM 代码错误通常依赖推理模式，但推理消耗额外资源。该方法通过提炼提示来避免频繁推理，为在资源受限场景下提升模型可靠性提供了新思路。

模仿人类学习编程时反思错误并总结规则的过程：低资源模型在推理模式下避免错误，大模型分析这些案例生成解释，再压缩成简短提示，供模型在非推理模式下使用，以较低成本获得类似收益。

该技术可帮助产品在不增加推理成本的情况下减少代码相关错误，例如代码生成、审核和预测任务，可能提升输出质量并降低成本，但对现有流程的影响取决于提示的生成和部署方式。

• 为现有代码生成工具增加可选提示层，在非推理模式下自动应用提炼出的规定，减少错误率。
• 开发配套工具，让开发者上传案例，自动生成定制的咨询提示。
• 将该方法集成到 CI/CD 流程，在代码审查环节辅助检测幻觉和潜在错误。
• 针对低资源模型优化提示，提升边缘设备上的代码处理能力。

• 提炼出的提示在多大程度上能泛化到未见过的任务或代码库？
• 生成提示的大模型的规模和成本未具体说明。
• 与始终启用推理模式相比，该方法的具体性能提升或成本节省数据尚未提供。
• 提示的有效性是否依赖特定任务类型或模型架构？