Janas 是一個用 C 語言編寫的實驗性 AI 工具套件，其核心組件 Janas-LLM 旨在讓普通電腦（無論是否有 GPU）執行大型混合專家（MoE）語言模型。其運作原理是將模型權重保留在磁碟上，僅將每個 token 所需的專家從 NVMe SSD 串流載入，並將頻繁使用的專家保留在記憶體中。這使得在僅有 32GB RAM 的筆記型電腦上執行 800 億參數（約 48GB）的模型成為可能。
在特定測試環境（Debian 13 Linux, Intel Core Ultra 9 185H, 32GB RAM, NVMe SSD）下，Janas-LLM 在讀取 1,024 個 token 的提示詞和生成回覆的速度上，均優於 llama.cpp。例如，執行 Qwen3-Next-80B-A3B（48.4 GB，超過記憶體容量）時，Janas 讀取速度為 62 tok/s，生成速度為 24 tok/s（無草稿輔助），而 llama.cpp 僅為 16 tok/s 和 2.8 tok/s。在其他較小模型如 Qwen3.5-2B 上，Janas 讀取速度達 441 tok/s，生成速度 52 tok/s，遠高於 llama.cpp 的 323 tok/s 和 28 tok/s。
然而，Janas 明確標示為「實驗而非產品」，處於早期開發階段，API 和命令列介面頻繁變動。其引擎設計對機器資源要求較高，會填滿空閒記憶體作為專家快取，並使用 O_DIRECT 全速讀取磁碟。在資源不足的機器上，可能導致桌面進入 swap 狀態而變慢或無響應，甚至曾發生 GPU 驅動重置導致桌面崩潰的情況。此外，該工具僅在單一特定硬體配置上開發和測試，在其他硬體（如 AMD CPU、獨立 GPU、較慢磁碟）上的表現未經測試，可能出現較慢、拒絕載入模型或行為異常的情況。
比較測試顯示，llama.cpp 在處理超過記憶體容量的模型時，若使用標準建置會因記憶體不足而失敗，需調整參數才能運行，且速度顯著較慢。Janas 則無需額外選項即可運行，並利用約 19GB 的記憶體快取頻繁使用的專家，其餘從磁碟讀取。測試數據基於特定時間點（2026 年 10 月）的特定硬體，作者強調在其他機器上結果會不同，建議使用者先在自己的機器上執行 janas-bench 以獲取實際效能數據。
事件背景
Janas 由 Maurizio "camauri" Cammalleri 設計和編寫。其測試環境為 Linux Debian 13 (trixie), x86-64, kernel 6.12.107, GPU driver Mesa 26.1.6 (Vulkan), built with GCC 14.2, Intel Core Ultra 9 185H (6 performance cores, 8 efficiency, 2 low-power; AVX2, FMA, F16C, AVX-VNNI; integrated Arc GPU), 32 GB DDR5 RAM, 1 TB NVMe SSD (about 5.7 GB/s reading)。Windows 版本在同一台筆記型電腦上的 Windows 11 (build 26300) 上運行，使用 Intel 自己的圖形驅動程式。
社群觀察
社群討論呈現兩極化觀點。使用者 dofm 認為這是開源 AI 工具常態化的積極跡象，對非壟斷的開放權重 AI 工具感到充滿希望。然而，使用者 jdb9001 批評這是對 llama.cpp 多年來已有功能的冗餘重新實作，質疑其必要性。使用者 suprjami 則指出 Strata 專案已經實現了類似功能，並質疑 Janas 的價值。此外，使用者 sieve 分享了自己在使用 LLM 輔助開發時，因 GPU 記憶體不足導致顯示器驅動重置的頻繁經歷，呼應了 Janas 文檔中提到的穩定性風險。使用者 3eb7988a1663 則對 62 tok/s 的速度表示滿意，認為對於非專業用戶而言已足夠。
