開發者使用 450 億個 token 從頭訓練了一個 44M 參數的量化 LLM，在 CPU 上達到每秒約 1,900 個 token 的速度，並透過 WebAssembly 在瀏覽器中運行。該模型採用三元權重 {-1, 0, +1} 和固定的 512 位詞彙指紋，將模型壓縮至僅 19.8 MB。這個概念驗證展示了極端量化和詞彙壓縮技術如何能在資源受限的設備上實現高性能離線 AI，且無需依賴雲端 API。它為邊緣 AI 應用提供了一條可行的路徑，特別適用於對延遲、隱私和頻寬有嚴格要求的場景。該模型採用固定的電路進行算術和邏輯運算，使其能夠直接在 token 流中計算結果而無需外部工具。此外，它還具備 1-bit 注意力狀態存儲機制，能夠在約一微秒內從磁碟快速檢索記錄。

事件背景

三元權重網路（Ternary Weight Networks, TWN）是一種神經網路，其權重被限制為三個值（-1、0、+1），與標準浮點數模型相比，這大幅降低了記憶體使用量和計算成本。WebAssembly（Wasm）是一種二進制指令格式，能夠在網頁瀏覽器中實現高性能代碼執行，使其適合在本地運行複雜的 AI 模型而無需伺服器端處理。

社群觀察

社區成員讚賞這項技術成就，指出真正的研究在於讓小型模型具備推理能力。部分用戶指出了潛在的過度擬合問題，因為該模型對不同的提示重複了相同的笑話，顯示其在開放式生成方面的泛化能力可能不足。