RecHarness：基于 Bandit 路由的智能体工具，用于自进化推荐系统

RecHarness 是一种用于推荐系统自动优化的智能体框架，将优化过程分为两步：bandit router 根据历史验证反馈选择修改方向，LLM 在选定方向内生成假设和代码修改。在多个任务和数据集上表现稳定，并在一周在线 A/B 测试中使 ADVV 提升 2.084%，Revenue 提升 0.534%，Exposure 提升 0.559%。代码已开源。

传统推荐模型优化依赖工程师手动迭代，效率低且不稳定。RecHarness 将优化过程自动化，减少人工干预，并在真实广告平台上验证了业务指标提升，表明推荐系统优化可更高效、更稳定，有望降低研发成本并加速模型迭代。

RecHarness 将优化决策与假设生成分离：bandit router 根据历史验证反馈选择修改方向，LLM 生成具体优化假设和代码，避免 LLM 同时做选择和生成导致的搜索不稳定。jump-basin 机制在局部优化停滞时激活结构性跳跃，维持长期探索，从而在有限实验预算内获得更稳定的提升。

对推荐产品团队，该框架可自动化模型优化流程，减少工程师手动调参时间，加速实验周期。在广告场景下提升 ADVV、Revenue 和 Exposure，直接关联商业收入。但需要集成 LLM 和 bandit 系统，可能增加基础设施成本。开源代码便于试用。

• 在现有推荐系统上集成 RecHarness，将模型优化流程自动化，观察 ADVV 和收入提升。
• 将 RecHarness 的 bandit router 组件抽象为独立服务，复用于其他自动化调参场景。
• 基于 RecHarness 实验数据，开发面向中小客户的推荐优化工具，提供自动化调参功能。

• RecHarness 在不同行业（如电商、内容推荐）的泛化效果如何，是否依赖特定数据分布？
• 实验中使用的 LLM 是哪种模型？其推理成本是否会影响整体收益？
• jump-basin 机制的触发条件和参数调优是否复杂，是否需要额外工程成本？
• 在线 A/B 测试的具体时长、流量分配和差异显著性数据是否已披露？