一位擁有 AMD R9700 圖形卡、NVIDIA RTX 5060 Ti 圖形卡及 64GB DDR5 系統記憶體的使用者，分享了其在本地運行大型語言模型（LLM）與影像/影片生成模型的經驗。該使用者原本在 R9700 上以 Q6 量化運行 Qwen3.8-27B 作為日常驅動模型，速度約 35 t/s，並在 5060 Ti 上透過 ComfyUI 運行 Minimax H3 進行影像/影片推論。然而，Minimax H3 需要大量系統記憶體，導致在載入其他大型模型時記憶體不足。
當 Strata 推出後，社群聲稱 Qwen3.8-Flash-Next (QFN) 可在較低階硬體上運行。使用者測試發現，社群多使用約 70GB 的 IQ3_XXS 量化版本。在 llama.cpp 中僅使用系統記憶體與 R9700 運行該量化版本時，速度僅為 21 t/s，接近日常使用的最低標準。但在 Strata 中運行同一量化版本時，速度達到約 60 t/s，表現出色。然而，問題在於載入 QFN 後，系統記憶體使用率高達 96%，導致無法同時在 5060 Ti 上運行同樣消耗大量系統記憶體的 Minimax H3。
經過社群建議與調校，使用者成功實現了 Qwen3.8-Flash-Next IQ3_XXS 與 Minimax H3 的並行運行，系統記憶體使用率約為 90%。具體調校參數包括：在 Strata 端使用 `--mmap-experts`、`--resident-cpu-experts` 和 `--expert-cache auto`；在 ComfyUI 端使用 `--fast-disk`。測試顯示，在 H3 權重載入期間，NVMe 讀取速度短暫達到持續 1GB/s，導致 Strata 推論速度波動降至 25-40 t/s；但在 H3 實際進行推論時，NVMe 讀取速度穩定在約 30 MB/s，QFN 推論速度則穩定在 50-60 t/s。使用者認為這是一個巨大的成功，並指出 H3 的實際生成時間（約 400 秒）幾乎未受影響，僅有極輕微的性能損失。
事件背景
Qwen3.8-Flash-Next 是一個大型模型，其非活躍專家需要大量的系統記憶體來存儲。Minimax H3 是一個影像/影片生成模型，其權重載入過程也需要消耗大量系統記憶體。Strata 是一個本地 AI 工具，透過特定參數（如 mmap-experts）管理記憶體與專家載入以優化推論。
社群觀察
社群對「64GB 系統記憶體的詛咒」表示共鳴，許多使用者開玩笑表示自己只有 32GB 或 16GB 記憶體，情況更為嚴峻。有使用者提到曾認為 128GB 記憶體不值得額外花費，現在卻感到後悔。Strata 的所有者 KnownAd4832 回應稱，正在開發兩種新模式，允許使用者選擇為其他程序保留 10-20% 的系統記憶體（以確保 PC 正常使用）或追求全速推論，預計將於週一或週二推出。
