Basalt 是一個從 Strata 分支出來並針對 NVIDIA Blackwell 架構進行深度調校的推理引擎，專為 Qwen 3.8 Flash Next 設計。該引擎支援視覺功能，但傳統做法要求影像編碼器必須常駐於 VRAM 或 CPU 中：常駐 VRAM 會佔用原本可用於存放專家層（experts）的寶貴快速記憶體空間，而使用 CPU 進行編碼則速度緩慢。
針對 Reddit 使用者 u/rkfg_me 提出的「為何需要常載入編碼器」的疑問，開發者 jesdga95 採納建議並推出了 `--vision dynamic` 參數。啟用此功能後，系統在閒置狀態下將影像編碼器保留在 RAM 中，載入時的 VRAM 佔用量接近於零。當接收到圖片請求時，引擎會暫時佔用部分專家快取槽位，將編碼器上傳至 VRAM（約耗時 30 毫秒）以處理圖片；處理完畢後，相同的槽位會從 RAM 重新填補（約耗時 60 毫秒）。若未發送圖片，則不會產生任何效能損耗，確保純文字推理不受影響。
此外，Basalt 的影像編碼器使用其自訂的核心（kernels），速度比 llama.cpp 的實作快達 3 倍。開發者亦提供了相關實作的 Commit Hashes（9bfb90a, a704c65, efd23d9），供其他引擎開發者參考移植。
事件背景
原始來源未提供關於 Qwen 3.8 Flash Next 模型架構細節（如參數規模、激活機制）或 NVIDIA Blackwell 微架構技術定義的背景資訊，僅說明 Basalt 是針對 Blackwell 調校的推理引擎。
社群觀察
Reddit 使用者 u/rkfg_me 在 Basalt 發布後提出疑問，詢問為何需要將影像編碼器常載入記憶體。開發者 jesdga95 回應稱這是一個很好的想法，並感謝該建議，隨後實現了動態載入功能。
