GTC

3 月 16 日晚上，兩件事同時發生。 Jensen Huang 在 GTC 主題演講上揭曉 Groq 3 LPU，宣稱每瓦 tokens 效能提升 35 倍。幾個小時後，Sam Altman 在 X 上發文：GPT-5.2 到 5.4，三個月內效率提升 32 倍，每個任務成本降到 37 美分。 兩家公司，一硬一軟，同一天給出幾乎相同的數字。這不是巧合。 硬體端：Groq 3 LPU 到底是什麼NVIDIA 在 2025 年底花 200 億美元買下 Groq 的核心團隊和技術。GTC 上第一次展示成果：Groq 3 LPU（Language Processing Unit），專門為推理設計的晶片。 跟 GPU 最大的差異在架構。GPU 用 HBM（高頻寬記憶體）做訓練和推理都行，但推理階段的記憶體存取模式跟訓練完全不同。LPU 用 SRAM 直接塞在晶片上，消除了記憶體瓶頸。結果就是：推理延遲極低，每瓦輸出的 tokens 數量暴增。 NVIDIA 的做法很聰明。LPX 機架裝 256 顆 LPU，設計成放在 Vera Rubin GPU 機架旁邊一起用。訓練用 GPU，推理用...

2026 年 3 月 16 日，NVIDIA GTC 大會在聖荷西 SAP Center 開幕。39,000 人從 190 個國家飛來，等著看黃仁勳穿皮夾克站上台講兩個小時。 但今年的 GTC 跟往年不一樣。往年你聽到的是「我們的新 GPU 比上一代快幾倍」。今年的主軸是：NVIDIA 已經不是一家 GPU 公司了。 200 億美元買下 Groq，買的不是公司2025 年底，NVIDIA 花了 200 億美元跟 Groq 簽了一份「非排他性授權協議」。說是授權，實際上 Groq 的創辦人 Jonathan Ross（Google TPU 的設計者）和 80% 的工程團隊都跑去 NVIDIA 了。Groq 名義上還在，GroqCloud 繼續營運，但核心技術和人才已經搬家。 CNBC 分析師直接說：這筆交易的結構是「維持競爭存在的假象」。 NVIDIA 買的是 Groq 的 LPU（Language Processing Unit）技術。LPU 專為推理設計，不跑訓練。它的架構跟 GPU 完全不同——沒有外部記憶體存取的瓶頸，推理延遲極低。 根據 GTC 前夕的報導，NVIDIA...

明天（3/16）Jensen Huang 會站上 SAP Center 的舞台，開始一場兩小時的主題演講。GTC 2026 不只是 NVIDIA 的年度大拜拜——今年的發布內容，可能會直接改變我們未來兩年寫程式的方式。 我花了幾天研究公開資料，整理出三個對開發者最有感的方向。 Vera Rubin：不只是「更快的 GPU」先說數字。Vera Rubin 架構的 GPU 擁有 3,360 億個電晶體，用台積電 3nm 製程，搭配 HBM4 記憶體。推理效能 50 PFLOPS（NVFP4），訓練 35 PFLOPS——分別是 Blackwell 的 5 倍和 3.5 倍。 但真正讓我注意的不是單顆 GPU 的數字，而是 NVL72 機架的規格：72 顆 Rubin GPU + 36 顆 Vera CPU，透過 NVLink 6 連接，每顆 GPU 有 3.6 TB/s 的雙向頻寬，整個機架的 scale-up 頻寬達到 260 TB/s。 這意味著什麼？ 以前跑大型模型需要跨節點通訊，頻寬瓶頸讓 pipeline parallelism 變成必修課。260 TB/s 的...