根據TrendForce最新HBM報告，隨著AI晶片迭代，單一晶片搭載的HBM容量也明顯增加。NVIDIA目前是HBM市場最大買家，預期2025年推出Blackwell Ultra、B200A等產品後，其在HBM市場的採購比重將突破70%。
市場日前傳出NVIDIA取消B100並轉為B200A，但根據TrendForce了解，NVIDIA仍目標在2024年下半推出B100及B200，將供應CSPs客戶，也另外規劃降規版B200A給其他企業型客戶，瞄準邊緣AI應用。
隨著高速運算的需求成長，更有效的AI server散熱方案也受到重視。根據TrendForce最新AI server報告，由於NVIDIA將在2024年底前推出新一代平台Blackwell，屆時大型CSP也會開始建置Blackwell新平台的AI server資料中心，預估有機會帶動液冷散熱方案滲透率達10%。
根據TrendForce最新記憶體產業分析報告，受惠於位元需求成長、供需結構改善拉升價格，加上HBM等高附加價值產品崛起，預估DRAM及NAND Flash產業2024年營收年增幅度將分別增加75%和77%。而2025年產業營收將持續維持成長，DRAM年增約51%、NAND Flash年增則來到29%，將創歷史新高，並且推動資本支出回溫、帶動上游原料需求，惟記憶體買方成本壓力將隨之上升。
根據TrendForce最新發布「AI Server(伺服器)產業分析報告」指出，2024年大型CSPs及品牌客戶等對於高階AI Server的高度需求未歇，加上CoWoS原廠TSMC及HBM原廠如SK hynix、Samsung及Micron逐步擴產下，於今年第2季後短缺狀況大幅緩解，連帶使得NVIDIA主力方案H100的交貨前置時間（Lead Time）從先前動輒40-50周下降至不及16周，因此TrendForce預估AI Server第2季出貨量將季增近20%，全年出貨量上修至167萬台，年增率達41.5%。
