使用者在 RTX 5090 上對 heavily quantized 的 Bonsai 2 27B、Gemma 4 12B 和 Qwen 3.5 9B 進行基準測試，發現 Bonsai 雖然速度較慢，但具有更優異的 token 產出量和自主推理能力。測試顯示 Bonsai 使用了超過 90% 的上下文視窗進行思考，證明了 PrismML 量化技術帶來的顯著效率提升。

這項比較對於在本地部署大型語言模型的開發者至關重要，因為它展示了先進的量化技術如何讓 27B 模型在輸出品質和推理深度上與較小的 9B 至 12B 模型競爭。這也驗證了 RTX 5090 處理高上下文複雜任務（如生成體素藝術程式碼）的能力。

由於 GGUF 相容性問題，Bonsai 2 模型使用了 PrismML 改版的 llama.cpp，在 262,144 token 的上下文視窗下運行速度約為每秒 101 個 token。相比之下，量化後的 Qwen 3.5 9B 運行速度顯著更快，達到每秒 168 個 token，但生成的輸出 token 數量較少。

事件背景

量化技術透過降低模型權重的精確度來減少記憶體使用量並提升推理速度，通常會以輕微的準確度損失為代價。RTX 5090 配備了 32GB 的 GDDR7 記憶體，非常適合在本地運行大型模型。GGUF 是一種針對 llama.cpp 優化的檔案格式，允許在消費級硬體上高效載入量化模型。

社群觀察

社群成員對在 MLX 上嘗試 Bonsai 以實現本地工具呼叫功能表示興奮，其他人則要求與更大的 Qwen 3.8-37B 模型進行比較。整體情緒正面，用戶感謝這些展示模型間實際性能差異的真實世界基準測試。