開發者 AuroraAI-Research 發布了 Aurora-80K，這是一款擁有恰好八萬個參數的超微型語言模型，且完全在智慧型手機上完成訓練。該模型採用因子化的 4,096 詞元詞表，在保持基本語言能力的同時實現了極高的效率。

此次發布突顯了小型語言模型（SLM）日益增長的趨勢，並證明即使沒有高階 GPU，在邊緣裝置上進行複雜的 AI 訓練也是可行的。它證明了像因子化嵌入這樣的創新架構選擇，可以顯著降低 AI 部署的資源需求。

該模型在 Wikitext-2 基準測試中達到 3.2902 的 BPB（每比特位元數），並在測試語言最小配對敏感度的 BLiMP 基準測試中獲得 52.31% 的分數。儘管體積微小，它仍使用類似 ALBERT 模型中用於管理參數數量的因子化詞表結構。

事件背景

小型語言模型（SLM）旨在在計算能力有限的裝置（如智慧型手機或物聯網裝置）上高效運行，這與需要龐大資料中心的大型模型不同。Wikitext-2 是用於評估語言建模性能的標準數據集，其中較低的每比特位元數（BPB）分數表示更好的壓縮率和預測準確度。BLiMP 是一個由語言最小配對組成的基準測試，用於測試模型是否理解特定的語法規則，例如主謂一致。

社群觀察

社群成員對該模型能在手機上訓練感到驚嘆，但也有人指出在預設設定下輸出結果顯得雜亂。其他人建議使用特定的數據集（如 smollm-corpus）來改善句子連貫性，並詢問是否支援 GGUF 格式。