AMD 於 2026 年 10 月 5 日發布 ROCm 10.1，重點在於解決隨著 AI 模型與 HPC 資料集規模擴大而日益嚴重的「資料傳輸瓶頸」。該版本透過 AMD Infinity Storage (AIS) 技術與 HIP 執行環境的改進，優化從儲存裝置到 GPU 的資料路徑，並引入 NUMA 感知的主機記憶體分配以減少跨插槽通訊開銷。
主要技術更新包括： 1. **儲存與 I/O 優化**：hipFile 新增非同步快速路徑後端，讓讀寫請求直接在 HIP 串流上執行，跳過傳統的主機記憶體暫存步驟，從而降低延遲並提升檢查點引擎與 KV 快取卸載系統的吞吐量。此外，新增批次 I/O API 以改善大型訓練資料集的儲存裝置利用率，以及多層級 I/O 統計資料以協助診斷工作負載瓶頸。 2. **NUMA 感知記憶體分配**：HIP 虛擬記憶體管理擴展，允許應用程式在特定的 CPU NUMA 節點上分配主機記憶體，使 RCCL 等函式庫能建立 NUMA 本地的零複製通訊管線，減少不必要的跨插槽流量。 3. **開發者工具與 AI 代理整合**：推出 ROCm CLI v0.2.0，提供單一二進位工具用於安裝、配置和執行本地 AI 工作負載，支援 Linux、Windows 和 WSL2，並包含全螢幕 TUI 儀表板。同時推出 AMD Skills，為 Claude Code 和 Codex 等 AI 編碼代理提供標準化整合，包括 `quark-install` 和 `quark-torch-llm-ptq` 等新技能，用於安裝 AMD Quark 和執行後訓練量化。 4. **編譯器與效能分析**：ROCm 10.1 將編譯器開發遷移至 LLVM 24，縮短大型專案的重建時間，並透過快取 LTO 分割的 HIP 裝置程式碼部分來加速增量建置。ROCprofiler-SDK 引入 beta 版的「核心重播」（kernel replay）功能，可在單次應用程式執行中收集完整計數器集。ROCm Compute Profiler 提供互動式 HTML 屋頂線報告，並支援按核心報告 PC 取樣分析。 5. **系統監控與虛擬化**：ROCm SMI 已過渡至 AMD SMI，提供跨 GPU、CPU 和 APU 的統一監控，並增強對容器化環境（如 Kubernetes、Docker）的可見性。WSL2 進入技術預覽階段，允許在 Windows 子系統 Linux 中直接安裝標準 Linux 套件。GPU 虛擬化支援擴展至 Ubuntu 26.04 LTS。 6. **程式庫與函式庫更新**：Composable Kernel 加速 Radeon GPU 上的注意力機制；MIGraphX 改用 rocMLIRTriton 作為後端編譯器以提升推理效能；rocSPARSE 支援直接在 ELLPACK 格式矩陣上執行三角求解。此外，引入 hipThreads 函式庫，允許開發者將標準 C++ 執行緒概念映射到 GPU 執行，無需完全重寫為 HIP 程式碼即可加速現有的 CPU 執行緒程式碼。
事件背景
ROCm 是 AMD 開發的開放式軟體堆疊，用於 GPU 程式設計與加速計算，類似於 NVIDIA 的 CUDA 平台。隨著大型語言模型（LLM）和高性能計算（HPC）工作負載的規模擴大，傳統上限制效能的因素正從 GPU 的原始計算吞吐量轉向資料供給速度。檢查點、鍵值快取（KV Cache）和模型參數的大小往往超過 GPU 附近的快速記憶體容量，導致從儲存裝置到裝置的資料路徑成為主要瓶頸。AMD Infinity Storage (AIS) 技術旨在透過 bypass CPU 記憶體，直接將資料從儲存裝置傳輸到 GPU 記憶體來解決此問題。NUMA（非統一記憶體存取）感知技術則旨在優化多處理器系統中的記憶體分配，確保資料靠近使用它的計算單元，以減少跨 CPU 插槽的通訊延遲。
社群觀察
社群討論中，使用者對 AMD 在儲存 I/O 方面的改進表示興趣。有使用者指出，AMD Infinity Storage (hipFile) 的概念類似 NVIDIA 自 2020 年推出的 GPUDirect Storage (GDS)，並分享其在 vLLM 分支中使用 AIS 使模型載入時間減少 50% 的經驗，同時將其作為第三層持久頁面記憶體以實現 KV 快取的重新啟動持久性。另一使用者提醒，資料傳輸的優勢取決於正確的記憶體分配實踐，建議使用 `rocm-smi --showtoponuma` 和 `hipPointerGetAttributes` 檢查緩衝區屬性，以避免因錯誤的記憶體分配導致效能未達預期。部分評論質疑文章風格疑似由 AI 生成，但承認 AMD Skills 作為 AI 代理文檔的概念很有趣。其他評論則對 NUMA 感知功能和 WSL2 改進表示歡迎。
