AI 推理如何創造新的記憶體需求？

「AI 的記憶體系統將徹底改變整個儲存架構。」-- Nvidia 創辦人暨執行長黃仁勳

在 2026 年 6 月的 Nvidia GTC Taipei 主題演講中，創辦人暨執行長黃仁勳指出，記憶體管理是 AI 基礎架構中最困難的挑戰之一，涵蓋 Agent 的工作記憶（KV Cache）管理，以及結構化與非結構化資料的檢索、資料本體論（data ontology）的建立等。

圖 1. Nvidia GTC Taipei 2026 ：AI Agent 的架構，為 LLM 加上 Harness

Nvidia GTC Taipei 2026 ：AI Agent 的架構，為 LLM 加上 Harness

來源：Nvidia

為因應 AI Inference 時代龐大的 KV Cache 儲存需求，Nvidia 在 2026 年 1 月發表由 BlueField-4 DPU 管理的 CMX 情境記憶儲存平台（CMX Context Memory Storage Platform），擴展 Local SSD、Share Storage 之間的記憶體階層。

與此同時，Agentic AI 的興起也重塑了 CPU 架構。黃仁勳指出，Agent 活在奈秒的世界，每次等待都阻礙其往下一步推進，使低延遲成為首要訴求。隨著 Nvidia 與 Arm 接連推出專為 Agent 設計的 CPU 機櫃，驅動架構從吞吐量導向轉為延遲導向，也為 CPU RAM 創造新的增量市場。

Server DRAM產業分析報告 - 2026年Q2

AI 浪潮推升伺服器出貨預期，但供應瓶頸限制成長空間。超微持續侵蝕龍頭市占，記憶體廠庫存跌至低點。合約價呈現強勁漲勢！

深入解析

Token 數以每年 >5 倍速度飆升，帶動記憶體需求改變

根據 Nvidia 的公開數據，從 2024 年下半年至今，AI Inference 模型的每道題平均輸出 token 數以每年 >5 倍的速度急遽攀升，來到 30,000~40,000 左右，顯示現在已進入 Nvidia Three Scaling Laws 中的 Test-time Scaling “Thinking” 階段。而 token 數的暴增，直接反映在 AI 系統對記憶體與運算資源的需求上。

圖 2. Nvidia Test-Time Scaling Thinking：Nvidia 散點圖，顯示 2023 至 2025 年每道題平均輸出 token 數。受 Test-Time Scaling「Thinking」驅動，推理模型的 token 數暴增至 10,000 至 30,000，反映出每年超過 5 倍的成長速度。

Nvidia Test-Time Scaling Thinking：Nvidia 散點圖，顯示 2023 至 2025 年每道題平均輸出 token 數。受 Test-Time Scaling「Thinking」驅動，推理模型的 token 數暴增至 10,000 至 30,000，反映出每年超過 5 倍的成長速度。

在 AI Inference 時代，AI 晶片/整體系統的硬體要求皆與 AI Training 截然不同。Inference 對硬體的需求包含：

更高的每秒查詢數 (Query Per Second, QPS)
更長的上下文窗口 (Context Window)
進行更多步驟的 Inference 與 Agentic AI Loops

而這些要求皆帶動了記憶體的需求結構變化。以下將分別從模型權重 (Model Weights)、KV Cache 和 Agentic AI 三個層面來討論。

AI Server 強勢吸納 LPDRAM 產能，揭示供需緊張將成常態

LPDRAM 供應緊縮，NVIDIA 調降次世代平台單模組容量以保出貨與市占。AI server 即將超越智慧手機成為最大用戶，缺貨壓力恐怕只會加劇。

獲取最新動態

模型權重 Model weights

模型權重（Model Weights）是初始儲存在 AI 模型內部的數值參數，在載入 AI 模型時會佔用一部分固定的記憶體空間，為靜態佔用。隨著模型參數愈多，模型權重所佔用的記憶體空間就愈大。模型權重所需的儲存容量計算公式如下：

\[\text{Total Size of Model Weights} = \text{Parameters} \times \text{bytes per parameter}\]

KV Cache

KV Cache 用於存放 Inference Prefill 階段所產生的 KV (Key-Value) 向量，以避免 Decode 階段的重複計算，為動態佔用。隨著 Inference 對話長度愈長、batch size 愈大，KV Cache 所佔用的記憶體空間就愈大。

圖 3. KV Cache 在 LLM 推理流程中的應用，呈現 Prefill 與 Decode 兩階段。

TrendForce 圖表：KV Cache 在 LLM 推理流程中的應用，呈現 Prefill 與 Decode 兩階段。

KV Cache 儲存容量計算公式如下：

\[\text{Total Size of KV Cache (Bytes)} = 2 \times \text{number of layers} \times \text{number of KV heads} \times \text{head dimension} \times \text{sequence length} \times \text{batch} \times \text{precision (bytes)}\]

KV Cache Offloading 帶動 SSD POD 需求

正因 KV Cache 的佔用容量隨著對話長度 x batch size 劇烈膨脹，如何有效管理與儲存成為 AI Inference 應用的關鍵課題。過往在長上下文 (Long Context)、多 batch 應用時，若 GPU 本身的 HBM 容量不足，系統必須丟棄 KV Cache、重新進行 Prefill 計算，使延遲增加、TCO 上升。

因此，Nvidia 於 2025 年 3 月發表 KV Cache Offloading 軟體 Dynamo。Dynamo 能將讀取頻率較低的 KV Cache 卸載到頻寬較低但容量較大、成本較低的記憶體階層 (如 CPU RAM、SSD 等)，確保這些資料在 Inference Decode 過程中仍能被重複使用，不用重新進行 Prefill 計算。

Dynamo 可以搭配 Nvidia 於 2026 年 1 月發表的 CMX 情境記憶儲存平台 (CMX Context Memory Storage Platform)，用於儲存、管理 Long Context 所產生的龐大 KV Cache。CMX 以 BlueField-4 STX Rack 為主體，使用 64 顆 BlueField-4 DPU (4 BlueField-4 DPU x 16 compute tray) 管理整櫃約 9,600 TB 的記憶體容量，可以拓展介於 Local SSD 和 Share Storage 之間的記憶體階層。

圖 4. SK hynix 於 COMPUTEX 2026 展出應用於 Nvidia BlueField-4 DPU 的 SSD 樣品（PEB210 E1.S 與 PE9010 M.2）。

SK hynix 於 COMPUTEX 2026 展出應用於 Nvidia BlueField-4 DPU 的 SSD 樣品（PEB210 E1.S 與 PE9010 M.2）。

來源：TrendForce

圖 5. Nvidia Dynamo KV Cache 卸載順序橫跨五層記憶體階層，由上而下依序為 G1 GPU HBM、G2 CPU RAM、G3 Local SSD、G3.5 SSD POD，到最底層的 G4 Shared Storage。

TrendForce 圖表：Nvidia Dynamo KV Cache 卸載順序橫跨五層記憶體階層，由上而下依序為 G1 GPU HBM、G2 CPU RAM、G3 Local SSD、G3.5 SSD POD，到最底層的 G4 Shared Storage。

註：SSD POD 是由多架 SSD 機櫃組成的獨立儲存單元，專門用於存放卸載的 KV Cache。SSD POD 介於 Local SSD（G3）與 Shared Storage（G4）之間的 G3.5 層，使 GPU 有相較 G3 更大的容量存放 KV Cache，又擁有相較 G4 更快的存取速度。

Agentic AI 帶動 CPU 記憶體需求

AI Inference 的普及也帶動 Agentic AI 的應用落地。在 AI Agent 應用中，AI 模型需要能夠主動規劃、呼叫工具，達到獨立做出決策、代替用戶執行行動等能力，因此需要 CPU 負責協調 (Orchestration)、工具呼叫、資料傳遞、評估 Sub-agents 的成果等工作。因此，在 AI Agent 應用情境中，CPU:GPU 的 work loading 使用比例，預計由傳統 LLM 的 1:4 至 1:8 可能將調整至 1:1，對 CPU 市場帶來龐大的成長潛力需求，連帶為 CPU RAM 創造新的增量需求。

從 Agentic AI 驅動與新 CPU：GPU 比例，解析 CPU 再傳緊缺背後的結構性轉變

NVIDIA 於 GTC 推出獨立 Vera CPU Rack，Arm 隨後發表自研 AGI CPU 機櫃。CPU 角色日趨關鍵，供應緊缺更逼 Intel、AMD 調漲售價。

獲取最新動態

圖 6. 傳統 LLM 與 Agentic AI 應用之間的 CPU 對 GPU work loading 比例，呈現比例轉向 1:1 的趨勢。

TrendForce 圖表：傳統 LLM 與 Agentic AI 應用之間的 CPU 對 GPU work loading 比例，呈現比例轉向 1:1 的趨勢。

2026 年，Nvidia 推出專為 Agentic AI 設計的 Vera CPU，原始設計搭載高達 1.5 TB 的 LPDDR5X 記憶體容量，為前一代 Grace CPU 的 3 倍。

註：根據 TrendForce 最新調研結果，NVIDIA決議將次世代 Vera Rubin Superchip 模組所搭載的 SOCAMM 容量砍半，此一調整並非 NVIDIA 下修記憶體總需求量，而是因應供應端 2027 年初步規劃配給 NVIDIA 的產能不足的事實。

圖 7. Nvidia Vera CPU 架構

Nvidia Vera CPU 架構

來源：Nvidia

圖 8. SK hynix 於 COMPUTEX 2026 展出專為 Nvidia Vera Rubin Superchip 設計的 SOCAMM2 樣品

SK hynix 於 COMPUTEX 2026 展出專為 Nvidia Vera Rubin Superchip 設計的 SOCAMM2 樣品

來源：TrendForce

此外，除了傳統 x86 CPU 巨頭 Intel、AMD 分別在 2026 年推出 Xeon 6+ (Clearwater Forest)、EPYC Venice 這 2 款新品；Arm 陣營的 Arm 在 2026 年推出 Arm AGI CPU，Ampere 的 AmpereOne MX 則預計在今年稍晚量產。2026 年可說是 Agentic AI 用 CPU 百花齊放的元年。

圖 9. 各家晶片大廠 CPU 規格

TrendForce 表格，比較 2023 至 2026 年各廠商的 CPU 規格，涵蓋 Nvidia、AMD、Intel、Ampere、Arm、AWS、Google 與 Microsoft。

若有興趣了解完整規格數據並購買 TrendForce 半導體相關研究報告，請至報告頁面查閱，也能留言或 Email (SR_MI@trendforce.com) 洽詢業務。

總結來說，AI Inference 為記憶體創造 2 大全新需求動能。AI Inference 使 KV Cache 用量膨脹，而 KV Cache Offloading 技術使大量的 KV Cache 可以卸載至 CPU RAM、SSD POD；隨著 Nvidia、Google 等推出新的 SSD POD 平台，預計 SSD POD 需求將持續提升。

Agentic AI 則使 CPU:GPU work loading 使用比例改變至 1:1，為 CPU 用量帶來龐大成長潛力，有望帶動 CPU RAM 需求提升。

AI Inference時代的新記憶體需求

NVIDIA 推出 BlueField-4 DPU 管理的 CMX 平台，擴展 SSD 與共享儲存的記憶體層級，因應 AI 推論的龐大 KV Cache 需求；NVIDIA 與 Arm 推出的 CPU Rack 則因應 Agentic AI 需求，開創 CPU 記憶體新市場。

獲取市場趨勢

熱門關鍵字