HBM 不再是唯一解方！AI 推理重組記憶體階層

隨著 Test-time Scaling 展開，AI 產業重心正從訓練 (Training) 快速轉向推理 (Inference)。Nvidia、Google 等 AI 巨頭紛紛在 2026 年上半年推出 Inference 專用晶片，Cerebras、SambaNova、Etched 等 AI ASIC 新創公司也密集發表新品與策略合作。伴隨這波轉變，記憶體階層迎來結構性的變革，各廠商試圖運用 HBF、SSD POD、SRAM 等突破傳統 HBM 的容量與頻寬上限。

本文將分析 AI Training 的記憶體需求、AI Inference 的記憶體需求及從 Training 到 Inference 的記憶體結構變化。

AI Training 的記憶體需求

AI Training 意指使用訓練資料集 (Training Dataset) 使 AI 模型學習新功能的過程；AI Inference 則意指將訓練好的 AI 模型套用到全新的資料，生成相對應回應的過程。由於這兩階段所需要的記憶體類型大不相同，也導致近年來記憶體的架構愈趨多元。

圖 1. AI Training 與 AI Inference 工作流程示意圖

來源：NVIDIA

AI Training 方面，以現今普遍的 Transformer 架構為例，訓練過程主要包含 3 個階段：

1. Forward Pass：從記憶體中讀取每一層的權重送進 compute die，進行大量矩陣乘法以計算預測輸出，並使用損失函數 (Loss function) 將預測輸出與正確答案比對，衡量誤差 (Loss)。
2. Backward Pass：依照連鎖律 (Chain rule) 一層一層從記憶體中讀取在 Forward Pass 過程中暫存的 activation，反向計算與權重同尺寸的梯度 (gradient)。
3. Optimizer Update：讀取 gradient 後，更新並寫回權重本身，以及 2 份與權重同尺寸的 Optimizer 狀態張量 (一階動量 m、二階動量 v)。

由於 AI Model 需要不斷重複這 3 個階段，才能以最小化 Loss 的目標不斷更新權重，直到收斂。因此，記憶體的存取速度成為決定 Training 效率的關鍵。

圖 2. AI Training 流程示意圖 (以 Decoder-only Transformer 為例)

註：綠色 = 需要存放/讀取大量權重；灰色 = 純運算或僅需極少記憶體

為此，由多層 DRAM 垂直堆疊，並以 TSV 串連而成的 HBM (High Bandwidth Memory) 應運而生。相較於傳統 DRAM 以緩慢的 PCIe 連接 (PCIe 6.0 x16 單向頻寬達 128 GB/s)，HBM 可以與 compute die 並排封裝在同一個 interposer 上，縮短了傳輸距離，且單顆可以提供 >2 TB/s 的頻寬 (HBM4 單 pin 單向頻寬 >1 GB/s，共 2,048 pin)，大幅加速了 AI 產業化的進程。

圖 3. HBM 規格演進：HBM2 至 HBM4

因此，在 Training 時代，記憶體階層便新增了 HBM 這一層，補足 On chip SRAM 與傳統 DRAM 之間的記憶體需求。

圖 4. AI Training 所需的記憶體階層

註：綠色 = 新增的記憶體階層

3Q26 HBM 數據表

涵蓋 2026 年第三季 HBM 市場供需，包含 HBM2E、HBM3 及 HBM3E 主要供應商的出貨量、市占率與產能分析。

獲取完整報告

AI Inference 的記憶體需求

AI Inference 主要包含 2 個階段：

1. Prefill：將輸入的 prompt 一次性的平行處理，計算出每一層的 Key、Value 向量存入記憶體 (KV Cache) 中，並同時算出第一個生成的 token。
2. Decode：從記憶體 (KV Cache) 中讀取 Key、Value 向量逐一生成 token，並將新算出的 Key、Value 向量持續寫入其中，直到回應生成完成。

由於 Decode 階段需要逐 token 反覆讀寫 KV Cache，且 KV Cache 容量會隨對話輪數、上下文 (Context Window)、batch size 數字增長而不斷成長，單純仰賴 HBM 已逐漸不足以應付日益增長的 Inference 需求。記憶體的容量成為頻寬以外的第二個關鍵瓶頸。

圖 5. AI Inference 流程示意圖

註：綠色 = 需要存放/讀取大量權重與 KV Cache；灰色 = 純運算或僅需極少記憶體

與已經相對成熟的 AI Training 記憶體架構不同，AI Inference 才剛隨著 Test-time Scaling 快速發展，因此各家廠商仍在積極嘗試不同的記憶體方案，記憶體階層正處於典範轉移的階段。

為了因應更大的 KV Cache 容量需求，記憶體大廠 SanDisk 與 SK hynix 於 2025 年 8 月宣布合作開發 HBF (High Bandwidth Flash)，試圖將多層 NAND 垂直堆疊，並以 TSV 串連。預期在 1.6 TB/s 的頻寬下，單顆 HBF 可以提供約 512 GB 的容量，約為 HBM 的 10 倍 (16-Hi HBM4 容量為 48 GB) 以上，補足 HBM 與傳統 DRAM 之間的記憶體需求。

在 HBF 量產前，許多廠商也運用 KV Cache Offloading 技術將較不常用的 KV Cache 卸載到較低的記憶體階層，協助分擔大量 KV Cache 的存放需求。因此，Nvidia 於 2026 年提出 SSD POD 的概念，補足 Local SSD 與 Shared Storage 之間的記憶體需求。

值得注意的是，除了 HBF、SSD POD，有些 Inference ASIC 新創公司推出高速的 SRAM，突破 HBM 的速率極限；例如 Groq（NVIDIA 於 2025 年 12 月取得其 Inference 技術授權和核心團隊）、Cerebras 即透過大片的 On chip SRAM 大幅提升 decode 速率。

若想深入了解 AI Inference 如何重塑供應鏈的記憶體需求，請參閱 AI 推理如何創造新的記憶體需求？

圖 6. AI Inference 所需的記憶體階層

註：綠色 = 新增的記憶體階層

2026 趨勢：AI Inference 時代的新記憶體需求

分析 AI Inference 需求驅動的記憶體市場轉型，涵蓋 HBM、LPDDR5X 及 CXL 記憶體解決方案的新興趨勢與供應鏈布局。

掌握市場趨勢

從 Training 到 Inference 的記憶體結構變化

2026 年上半年，由於 Inference 需求持續爆發，Nvidia 宣佈於年底將上市的 Rubin 系列中加入 Groq LPX 晶片，並同步推出 CMX (Context Memory Storage Platform) 與 Vera CPU Rack。

Google 也發表針對 Inference 設計的 TPU v8i，相較針對 Training 設計的 TPU v8t 多出 72 GB 的 HBM3e 與 384 MB 的 SRAM。

除了 2 大巨頭之外，許多設計 Inference 專用晶片的 AI ASIC 新創公司在 2026 年上半年積極布局，如 Sambanova 於 2026 年 2 月推出第 5 代晶片 SN50；Cerebras 於 2026 年 4 月申請掛牌上市，並宣佈與 OpenAI、AWS 合作；Etched 於 2026 年 6 月宣佈其 Sohu 晶片已在台積電成功 tape out。

若想進一步了解各 Inference 晶片在記憶體架構上的差異，請參閱推理經濟時代來臨：AI 晶片的規則正被重寫。

圖 7. Training 與 Inference 流程所需的關鍵記憶體

圖 8. 從 Training 到 Inference 的記憶體階層變化

註：綠色 = 新增的記憶體階層

觀察從過往 Training 時代 HBM 一枝獨秀的局面，到現在 Inference 場景百花齊放，可以預期未來記憶體階層的設計選擇將愈趨多元。

AI Agent 重塑記憶體階層：次世代 NAND

探討 AI Agent 架構如何重新定義記憶體階層，以及次世代 NAND Flash 在邊緣推論與儲存卸載市場機會中的關鍵角色。

獲取完整報告