一位用戶展示了一款擁有 80 億參數但僅 10 億活躍參數的混合專家（MoE）模型 Ling Tiny 3.0，能在配備 8GB RAM 的 2017 年純 CPU 筆電上運行。該模型在 20 分鐘內以每秒約 10 個 token 的速度，成功完成了一個網路掃描腳本的編寫與迭代。 這項成就標誌著本地 AI 的重要里程碑，證明具備能力的模型可以在無需昂貴顯示卡的情況下，於低階或舊款硬體上運行。這意味著本地運行智慧代理的門檻正在大幅降低，讓擁有舊設備的一般用戶也能輕鬆使用 AI。 該模型採用混合專家架構，透過僅激活部分參數來在提升效能的同時保持低運算開銷。推理過程使用 llama.cpp 搭配基礎的 Q6 量化技術，除了標準設定外，無需進行任何特殊的優化工作。

事件背景

混合專家（MoE）是一種架構，模型由多個「專家」子網路組成，但每次輸入僅激活少數專家。這種稀疏激活機制允許模型擁有數十億的總參數，同時保持與較小稠密模型相當的推理速度和記憶體需求。llama.cpp 等工具透過優化系統記憶體中權重的載入與處理方式，實現了高效的 CPU 推理。

社群觀察

社群成員驗證了效能提升，其中一位用戶指出 Gemma 3 4b 是純 CPU 摘要任務的轉捩點。其他人則強調 Ling Tiny 3.0 在上下文壓縮方面的優異表現及其避免迴圈的能力，確認了其在輕量級本地 AI 工作流程中的實用性。