Relay-Bench：评估 LLM 的多领域推理链能力

arXiv AI 发布 Relay-Bench 基准测试，用于评估大型语言模型在单次提示中完成跨多个领域子问题的推理链能力。测试集完全由复合问题构成，每个问题包含 2 到 13 个子问题，领域涵盖视觉推理、编程、数学、信息提取、问题解决、常识和数据分析。模型被允许使用代码执行和网络搜索等工具。目前领先模型 GPT-5.5 (xHigh) 得分仅为 43.3%，表明该基准尚未饱和。

此前多数基准聚焦单领域任务，Relay-Bench 要求模型在单一提示中连续处理多个不同领域的子问题，更贴近现实复杂业务场景。领先模型仅得 43.3%，说明当前 LLM 在多步跨领域组合推理上仍有巨大提升空间，为模型优化和产品路线提供新的评测维度。

Relay-Bench 通过将 2 至 13 个单领域子问题串接为复合问题，并有意增加提示编码复杂度和上下文膨胀，模拟真实世界中需要综合多领域知识的多步骤任务。模型可自由调用代码执行、网络搜索等工具，旨在测试其跨领域推理和工具利用的协同能力。

该基准突显了当前 LLM 在复杂多步骤推理上的短板，产品研发需关注任务链分解、中间结果传递以及工具编排能力。开发者可能需调整模型选择策略，优先支持工具调用和多步交互的产品架构，或针对此类场景进行微调或提示优化。

• 开发针对多步推理链的提示模板或工作流编排工具，自动将用户复杂需求拆解为子任务。
• 在应用中内置 Relay-Bench 类似的任务，作为评估模型多领域协作能力的内部指标。
• 设计工具调用接口，使模型能在推理过程中有序执行代码、搜索并整合结果。
• 基于该基准的难度分层，为用户提供合理的模型调用策略（如简单任务用快速模型，复杂任务用强模型）。

• GPT-5.5 (xHigh) 的具体架构、训练数据和微调策略细节未披露，其 43.3% 得分的可复现性待验证。
• Relay-Bench 中各子问题的难度权重和域间依赖关系是否合理平衡，可能存在偏差。
• 该基准与真实业务场景的相关性如何？是否会导致过度优化特定任务组合。
• 其他主流模型（如 GPT-5、Claude 4）在相同测试集上的表现数据尚未公开。