儘管僅有 13 億個活躍參數,Ling 3.0 Tiny 目前在小型語言模型的效能排行榜中名列前茅。該模型採用混合專家(MoE)架構,總參數達 79 億個,但每個標記僅激活 13 億個,同時維持 32K 的上下文視窗並具備高效的量化能力。社群用戶報告其在配備 8GB VRAM 的消費級硬體上,能達到每秒 122 個標記的極高推理速度。該模型展示了 MoE 架構如何以接近小型模型的運算成本提供高品質效能,使先進 AI 能在低資源裝置上運行,並挑戰了「大型稠密模型」對於具備競爭力的本地 LLM 效能是必要條件的假設。用戶指出其代理能力與工具呼叫速度極佳,但在追蹤長對話時可能略顯吃力。

事件背景

混合專家(MoE)是一種模型架構,擁有大量參數但僅針對每個輸入激活其中一部分,與稠密模型相比顯著降低了運算負載。Ling 3.0 Tiny 運用此技術,在保持大型模型知識容量的同時兼顧小型模型的推理速度,使其能在記憶體有限的 GPU 上高效運行。

社群觀察

Reddit 用戶對該模型的速度與效率感到興奮,部分用戶認為其表現優於 Gemma 4 12b 和 Qwen 3.5 9b 等較大模型。用戶在讚賞其代理能力與低 VRAM 用量的同時,也指出其在維持長對話上下文方面存在些微缺點。