一位開發者使用 300 億個 token 從頭訓練了一個 2.5 億參數的語言模型，並透過低於 2 位元的量化技術，將部署體積壓縮至僅 60 MB。該模型可在一般筆記型電腦 CPU 上以每秒約 400 個 token 的速度運行，無需 GPU 或外部框架支援。此專案證明了在資源受限的邊緣裝置上也能實現高效能推論，非常適合用於遊戲 AI 和語音助手。它透過展示極低的硬體需求即可獲得實用成果，挑戰了依賴龐大模型的主流趨勢。該模型採用一種新型磁碟支援的 KV 快取系統，將較舊的上下文壓縮為 1 位元並儲存於磁碟中，從而支援高達 1 億個 token 的理論上下文視窗。此外，它使用固定的 512 位元程式碼詞彙表取代傳統的嵌入表，消除了詞元化的訓練參數。

事件背景

LLM 量化是一種降低模型權重精度的技術，旨在減少記憶體使用量並加速推論過程，通常會以犧牲少量準確度為代價。KV 快取在生成過程中儲存鍵值張量，以避免重複計算先前的 token，但其大小會隨上下文長度線性增長，成為長上下文任務的瓶頸。此專案透過將較舊的快取項目卸載至磁碟並使用固定詞彙表來解決這些瓶頸。

社群觀察

社群成員讚賞這項工程成就，建議其應用於電子遊戲和語音助手，並對其驚人的速度與體積比表示肯定。部分用戶對上下文視窗的定義展開討論，澄清該模型是從磁碟檢索事實而非對全部 1 億個 token 進行推理，同時也有使用者要求支援 GGUF 等標準格式。