開發者使用 300 億個令牌訓練了一個 2.5 億參數的 LLM，並將其量化至低於 2 位元，使整體部署僅需 60 MB。該模型採用獨特的磁碟式 KV 快取技術，將超過 2048 令牌的歷史資料壓縮為 1 位元，支援高達 1 億令牌的上下文檢索，且僅需 80 MB 記憶體即可在 CPU 上運行。該模型在保留的英文網頁文本上達到了 23.3 的困惑度，並在一般筆記型電腦 CPU 上以每秒約 400 個令牌的速率運行。此外，詞彙表使用固定的 512 位元代碼而非傳統嵌入表，消除了分詞的訓練參數，同時保持了語義相似度。
事件背景
LLM 通常在 KV 快取中儲存注意力狀態，其記憶體消耗與上下文長度成正比。磁碟卸載技術涉及將較舊或較少存取的資料從快速 RAM 移至較慢的儲存設備（如 SSD），以釋放記憶體。FineWeb 是從 Common Crawl 衍生而來的高品質數據集，因其編選良好的文本而被廣泛用於 LLM 的預訓練。
社群觀察
社群對如此低位元寬度下取得的成果表示驚嘆，並讚賞其創新的磁碟快取實作。用戶討論了該技術擴展至更大模型的潛力，並指出其適用於樹莓派等裝置，同時部分使用者詢問該快取是否類似向量資料庫。
