EP152 - OpenAI 自研晶片 Jalapeño 真的有點猛

Video summary

OpenAI 自研 Jalapeño 推論晶片在 InferenceX 擊敗 NVIDIA Blackwell，能效高 1.5 至 1.9 倍，AI 設計也讓開發只花 9 個月。

OpenAI 首度公布自研 Jalapeño AI 推論晶片的 InferenceX 測試成績：在 gpt-oss、DeepSeek-R1、Kimi K2.5 等模型上，能效較 NVIDIA Blackwell 高 1.5 至 1.9 倍，端到端延遲降低 1.7 至 3.6 倍；但測試限於特定工作負載與單一機櫃，尚不能代表整座 AI Factory，也未與新一代 Rubin 完整比較。晶片透過動態切換 Prefill、Decode 等運算資源，減少 KV cache 搬移，並以 Spatial Architecture 和記憶體切片提升資料傳輸效率。這種設計增加了程式開發難度，OpenAI 則用 AI 與 Compiler 優化 kernel。晶片從定案架構到 tape-out 僅花 9 個月，讓主持人重新思考 NVIDIA 的競爭優勢與 ASIC 追趕速度。

Chapters

1. 0:00台灣創新技術博覽會：三館展示 AI 落地，2026 年 9 月台北世貿登場
2. 3:34台灣創新技術博覽會：OpenAI Jalapeño 登上 InferenceX 並擊敗 NVIDIA
3. 8:32Jalapeño 是什麼：專做 LLM 推論，也能跑 Kimi、DeepSeek 與 DOOM
4. 12:18Jalapeño 有多強：InferenceX 納入吞吐量、延遲與最新 kernel 優化
5. 16:31Jalapeño 有多強：每瓦吞吐量領先 Blackwell 1.5–1.9 倍
6. 20:23Caveat：TDP 推估、單機櫃測試與 Rubin 世代比較限制
7. 25:15Active Silicon Mix：Prefill、Decode 與 Speculative Draft 的硬體需求
8. 29:28Active Silicon Mix：Jalapeño 單晶片切換三種模式並減少 KV Cache 搬運
9. 34:21Fast Local View：Core Slice 直連對應 HBM Slice
10. 36:43Spatial Architecture（一）：Jalapeño 明確指定核心與資料流動路徑
11. 42:13Spatial Architecture（二）：HBM Slice 5 捷徑與 AI 編寫逾三千行 kernel
12. 48:54Spatial Architecture（三）：多數 LLM 可運行，OpenAI 進展促使重估 NVIDIA 三年優勢