OpenAI 自研推理芯片 Jalapeño 基准测试显示其在大规模快速推理方面表现出色

OpenAI 在 Hot Chips 会议上展示了其首款自研推理芯片 Jalapeño。根据 SemiAnalysis 的 InferenceX 基准测试，该芯片在每用户 token 数和每千瓦吞吐量上均超过当前最先进产品，并击败 Nvidia 的 Blackwell 及 Rubin。

这是 OpenAI 首次推出自研芯片，且第一代产品就宣称在推理吞吐量和能效上超过 Nvidia 最新产品，标志着 AI 芯片供应格局可能出现重大变化，为大模型推理成本下降带来新可能。

自研芯片可针对自身模型和推理负载进行优化，提升 token 吞吐量和能效，从而降低每 token 的推理成本。在算力需求巨大的背景下，芯片效率直接决定了大模型服务的成本与扩展能力。

若 Jalapeño 量产且性能属实，OpenAI API 的推理成本可能下降，或可支持更大规模的并发用户。对依赖 OpenAI 模型的产品而言，单位成本与响应速度有望改善。

• 调研该芯片在 OpenAI API 中的实际部署时间线，评估推理降价可能，提前调整产品定价策略。
• 关注基于 OpenAI 模型的高吞吐应用场景，如实时交互或批量处理，以利用潜在的成本优势。

• Jalapeño 何时正式量产并接入 OpenAI API？
• 芯片在真实负载下的性能是否与基准测试一致？
• 相比 Nvidia 芯片，Jalapeño 的单位成本是否更低？