EP152 - OpenAI 自研晶片 Jalapeño 真的有點猛

Video summary

OpenAI 自研 Jalapeño 推論晶片在 InferenceX 節能快過 Blackwell，AI 輔助設計僅 9 個月完成 tape-out。

OpenAI 公布自研 Jalapeño 晶片的 InferenceX 成績：相較 NVIDIA Blackwell，每瓦吞吐量領先 1.5 至 1.9 倍，端到端延遲降低約 1.7 至 3.6 倍。這款晶片專攻大型語言模型推論，能在 Prefill、Decode 等階段動態調整資源，並以 Spatial Architecture 和快速資料通道提升效率；代價是程式設計複雜，OpenAI 透過 AI 與 Compiler 優化 kernel。從架構定案到 tape-out 僅花 9 個月，也讓主持人重新思考 NVIDIA 的競爭時間表。不過測試仍有 package TDP、單機櫃規模、特定 workload 與未直接對比 Rubin 等限制，不能視為全面勝出。節目另介紹 2026 台灣創新技術博覽會將於 9 月 17 至 19 日在台北世貿一館免費登場。

Chapters

1. 0:00台灣創新技術博覽會：三館策展與技術商品化展示
2. 2:09台灣創新技術博覽會與 OpenAI Jalapeño 的 InferenceX 成績
3. 8:32Jalapeño 是什麼：可跑 Kimi、DeepSeek，9 個月完成 tape-out
4. 12:18Jalapeño 有多強：InferenceX 測試 Blackwell 的比較基礎
5. 16:31Jalapeño 有多強：每瓦吞吐量領先 1.5–1.9 倍 Blackwell
6. 20:23Caveat：TDP、單一機櫃與 8K/1K workload 限制比較
7. 25:15Active Silicon Mix：Prefill、Decode 與 Speculative Draft 的硬體需求
8. 29:28Active Silicon Mix：Jalapeño 單晶片切換推論模式以減少搬運與閒置
9. 34:21Fast Local View：Core Slice 對應 HBM Slice 的硬體快速通道
10. 36:43Spatial Architecture：Jalapeño 指定核心與資料路徑，避免結果繞回記憶體
11. 42:13Spatial Architecture：Core Slice 5 對應 HBM Slice 5，AI 協助調校三種模型 kernel
12. 48:54Spatial Architecture：Jalapeño 首代部分情境追平 Rubin，主持人重估 NVIDIA 三年優勢

What the full analysis includes

12 chapters · 59 key points · 12 section summaries · mind map

The remaining 56 key points, section summaries and mind map are in the full analysis. Analyze this video to see everything →

This video is 55 min. The Free plan analyzes videos up to 30 min; plans from Plus cover videos up to 2 hours.