OpenAI 宣布與博通（Broadcom）合作推出首款自研 AI 推論晶片 Jalapeño，專為現代大型語言模型提供業界領先的速度與能效。初步結果顯示，與現有解決方案相比，該晶片可降低約 50% 的推論成本。這標誌著 OpenAI 從依賴第三方硬體轉向優化自有基礎設施的策略轉變，有望為 AI 效率和延遲設定新標準。它加劇了 AI 硬體領域的競爭，透過提供針對大規模推論工作負載的專用替代方案，挑戰 Nvidia 的主導地位。Jalapeño 採用台積電（TSMC）的 3 奈米製程，並經過 9 個月的流片週期，專門針對當前 AI 架構中普遍存在的 Transformer 注意力機制進行優化。雖然它在推論吞吐量和延遲方面表現出色，但犧牲了 GPU 的通用可程式設計性，因此在訓練或模型架構快速變更時靈活性較低。
事件背景
AI 推論是指使用已訓練好的機器學習模型對新數據進行預測或生成輸出的過程，這與訓練模型本身不同。像 Jalapeño 這樣的客製化專用積體電路（ASIC）被設計用來比通用處理器（如 GPU）更高效地執行特定任務，提供更高的每瓦效能，但在處理多樣化工作負載時靈活性較低。
社群觀察
社群反應兩極，部分用戶指出雖然 Nvidia 在通用堆疊中佔據主導地位，但像 Jalapeño 這樣的專用 ASIC 已經存在，並在推論速度上超越 Nvidia。另一些人則對晶片的靈活性表示擔憂，質疑如果 OpenAI 未來大幅改變其模型架構，該晶片是否仍能保持競爭力。
