OpenAI Jalapeño芯片：推理速度与能效双冠

OpenAI的新自研芯片Jalapeño在SemiAnalysis的InferenceX基准测试中表现亮眼，其每用户Token生成量和每千瓦吞吐量均超过当前最先进的商业化产品。该芯片专门针对大规模快速推理场景设计，标志着OpenAI在AI基础设施自主化道路上的重要一步。

OpenAI过去数年间一直与多家芯片设计公司合作，其自研芯片计划早已不是秘密。2024年，OpenAI曾向台积电预订专属晶圆产能，显示出其进军硬件的野心。Jalapeño芯片正是这一战略的结晶。

什么是Jalapeño芯片？

Jalapeño是OpenAI推出的定制推理芯片，与通用GPU不同，它针对大语言模型的Transformer解码过程进行了深度优化。芯片集成了高带宽内存和专用计算单元，能够高效处理长序列、高并发的推理请求。OpenAI此前在自研AI芯片上投入巨资，Jalapeño被认为是解决推理成本瓶颈的关键方案。该芯片采用前沿制程和先进封装技术，尽管官方未透露具体晶体管数量，但业界普遍认为其能效比将大幅领先现有GPU。

InferenceX基准解析

SemiAnalysis是一家知名的半导体研究机构，其推出的InferenceX基准致力于衡量AI系统在真实生产环境下的推理能力。与传统偏重理论性能的基准不同，InferenceX模拟了多用户同时访问、请求长度动态变化、缓存命中率等复杂因素。在本次测试中，Jalapeño在两项核心指标上拔得头筹：一是每用户Token生成量，该指标反映单个用户在并发场景下获得的响应长度与流畅度；二是每千瓦吞吐量，该指标评价每单位电力能处理的推理任务总数。

与H100等GPU相比，InferenceX更关注实际服务中的用户体验和成本效率。H100虽然峰值算力高，但在低延迟、高并发的推理负载中常因内存带宽限制而难以充分利用。Jalapeño则通过定制内核和优化的数据流调度，减少了内存访问瓶颈。

数据背后的意义

每用户Token生成量的提升，意味着运营商可以在相同服务等级下为更多用户提供更长的回复，从而改善用户体验。每千瓦吞吐量的提高，则直接降低数据中心电力成本与碳排放。在当前AI模型训练成本高涨、推理需求井喷的背景下，能效已成为衡量芯片优劣的重要标准。Jalapeño在两个维度上同时领先，说明其架构设计在计算效率与内存带宽之间找到了良好的平衡。据业内人士分析，Jalapeño的实测成绩可能与最先进的GPU相比高出两位数百分比，这对于大规模商业化部署极具吸引力。

对AI行业的影响

Jalapeño的成功并非孤立事件。近年来，Google、Amazon、Meta等科技巨头纷纷自研定制芯片。OpenAI此次的进展，进一步证明在特定工作负载下，ASIC芯片可以带来远超通用GPU的效益。这一趋势可能会重塑AI算力供应链，导致对NVIDIA等GPU制造商的依赖度降低。同时，OpenAI通过软硬件协同设计，能够将推理成本优势转化为API降价空间，进而吸引更多开发者与其云平台绑定。从更大格局看，AI芯片的竞争正从单纯比拼峰值算力，转向兼顾性能、能效、成本和生态的系统性竞争。

此外，Jalapeño还可能影响云服务生态。OpenAI的长期合作伙伴微软在Azure上提供GPU服务，而OpenAI若扩大自研芯片的使用，未来有望在算力谈判中占据更大话语权，甚至为第三方提供定制化推理算力。

不过，也不能忽视挑战。Jalapeño目前仅针对推理场景，而训练任务仍需要GPU等并行计算平台。此外，定制芯片的研发周期长、迭代风险高，供应链稳定性也是难题。Jalapeño能否大规模量产并成功部署，仍需要时间检验。

编者按

这次基准测试结果，让我们看到AI基础设施的另一条路径。过去十年，训练主导了AI算力的叙事，而推理效率与能效的权重正在上升。Jalapeño的成功，核心不在于硬件本身，而是展示了软硬件垂直整合的降本潜力。当模型规格触顶，如何让每个Token更便宜、更可靠，将成为决定AI商业价值的关键。OpenAI手握模型与芯片双重筹码，未来的竞争优势可能会进一步扩大。

本文编译自TechCrunch