Prism-ML 發布了 Ternary Bonsai 2,這是一個基於 Qwen3.8-27B 架構的 27B 參數模型。該模型採用三元權重(ternary weights)技術,將體積壓縮至 6GB 以下,僅為 FP16 版本的九分之一大小。根據模型卡片宣稱,其在大幅縮減體積的同時,保留了 98.2% 的智能表現。

該模型可透過 WebGPU 在網頁瀏覽器中本地運行,解決了硬體可及性的限制,使無專用顯示卡的設備也能進行高容量 LLM 推論。這證明了激進的量化技術可以維持高性能,讓先進 AI 能夠應用於本地且注重隱私的場景中。不過,使用者若需運行 GGUF 檔案,必須使用 Prism 專屬的 llama.cpp 分支,因為標準實作可能不支援此特定的三元格式。

事件背景

三元量化將模型權重限制為三個值(通常為 -1、0、+1),與標準的 FP16 或 FP32 格式相比,大幅減少了記憶體使用量和計算複雜度。WebGPU 是一個網頁標準,允許瀏覽器存取裝置的 GPU 進行加速運算,從而實現本地 AI 推論,無需將資料傳送至雲端。

社群觀察

社群反應兩極。部分用戶對「98.2% 智能」的說法表示懷疑,並指出需要特定的分支才能進行推論。另一些用戶則欣賞該模型在 GPU 資源有限環境下的高效表現,但也有人認為三元模型通常不如高比特量化模型實用。