Basalt 是一個基於 Strata 分叉並經過深度調校的開源推理引擎，採用 MIT 授權，專為 NVIDIA Blackwell 架構 GPU 上的 Qwen3.8 Flash-Next 模型設計。該引擎僅支援 Blackwell 架構（包括雙 GPU 配置）及 Linux 系統，不支援 AMD、Intel 或舊款 NVIDIA 顯示卡，也不支援 Windows 或 Mac。
在開發者使用的硬體配置（RTX 5090 + 5060 Ti, Ryzen 9950X, 32GB DDR5 RAM）下，Basalt 使用 IQ3_XXS 量化權重時，結構化輸出吞吐量可達每秒 665 個 token，散文生成為每秒 354 個 token，64k 上下文預填充速度為每秒 7,317 個 token，功耗約 400W。開發者聲稱此速度是同權重下 Strata 標準性能的 2.6 倍。若僅使用單張 RTX 5090（無第二張卡），結構化輸出為每秒 585 個 token，散文生成為每秒 316 個 token，比雙卡配置慢約 12%，但預填充速度不變。
Basalt 支援最多 8 個並發用戶，啟用多 token 預測（MTP）時，8 個串流的總吞吐量為每秒 623 個 token（開發者表示沒有 Strata 的對比數據）。其他功能包括針對低量化優化的 MTP、自訂視覺編碼器（GPU 上比 llama.cpp 快 3 倍，CPU 上快 4 倍）、以及相容於 OpenAI 和 Anthropic API 的簡單伺服器 UI（僅顯示吞吐量、專家分佈和硬體統計，無聊天介面，需自帶前端）。
Basalt 使用類似 NInfer 的格式，將權重重新打包（非重新量化）為包含所有元數據、視覺和 MTP 資訊的單一 .basalt 檔案。初始支援的量化格式包括 ISTA-DASLab 的 GSQ-RCO (Q2)、IQ3_XXS、IQ3_S，以及 Unsloth 的 UD-Q4_K_XL 和 Q8。開發者指出，IQ3_S 是一個平衡點，在其測試環境下約有 89% 的 Top-1 一致性，散文生成速度約為每秒 300 個 token。
關於為何不貢獻回上游 Strata，開發者解釋這並非單一功能，而是重寫了大部分解碼和部分預填充內核，並移除了對非 Blackwell 卡的支持。雖然已貢獻部分補丁給 Strata 和 llama.cpp，但關鍵發現將推送到上游。開發者強調目前僅支持其個人能測試的硬體，並承認代碼是「憑感覺編碼」（vibe coded）的產物，但強調其速度快。
事件背景
Basalt 是一個從 Strata 分叉而來的專案，專為 NVIDIA Blackwell 架構 GPU 上的 Qwen3.8 Flash-Next 模型進行優化。原始來源未提供 Strata、MTP（多 token 預測）、IQ3_XXS 或 KLD（庫爾貝克-萊布勒散度）的通用技術定義或背景說明，僅在功能列表中提及這些術語。
社群觀察
社群對這類「憑感覺編碼」（vibe-coded）引擎的主要擔憂在於開發者可能不了解 AI 的內部運作，導致為了速度而進行實際上會「損傷模型智力」（lobotomize）的優化，例如量化激活值或使用奇怪的採樣設置（如 Strata 預設 temp 0 可能是為了從 MTP 獲得更多加速）。用戶指出尚未看到 Strata 的 KLD 測量數據，推測是因為創建者不了解 KLD。另有用戶建議，若要消除「模型被損傷」的質疑，應提供固定種子、temp 0 且關閉 MTP 時與未量化 logits 的 KLD 對比，以及開啟 MTP 時的對比，以驗證 MTP 實現是否正確（若正確，兩者分佈應基本一致）。部分用戶批評標題省略了「僅限 Blackwell」的限制，認為有標題黨之嫌。還有用戶詢問 NVFP4 支援情況及僅使用 5060 Ti 的速度表現。
