一位 Reddit 用戶在 r/LocalLLaMA 發布了一份主觀排名,列出可在 10-16GB VRAM 及 26-32GB RAM 環境下運行的語言模型。該清單基於速度(至少 10 tokens/s)、連貫性、多語言處理能力(JP/PT-BR/US-EN)、避免「Slop」模式、MoE 與全參數模型的比較、 censorship 程度以及指令遵循能力進行評估。作者明確排除思維鏈(CoT)模型,認為其浪費 token 且較慢,並建議使用高於 Q_4_K 的量化版本。
排名首位為 Gemma 4 26B-A4B,被描述為比 Qwen 35B-A3B 對話更有趣且精準。第二位是 Qwen 3.6 35B-A3B (Abliterated),速度快但可能過度擬合輸入格式。其他上榜模型包括 Gemma 4 Instruct 19B-A1B Heretic、The Omega Directive 14B、GLM-4.7-Flash 31B-A3B 等。作者指出,僅有超過 200B 參數的模型才具備深度的動漫、電影或音樂知識,而 120B 以下的模型很少包含這些利基資訊。
作者總結各基礎模型的傾向:GLM 傾向悲觀且過度邏輯化,Qwen 傾向好奇且華麗,Gemma 傾向幽默創意,Mistral 傾向調情且具體,Llama 則傾向重複且可預測。這些特徵在所有微調版本中均存在。對於擁有 24GB VRAM(如 RTX 3090)的用戶,作者建議嘗試 Omega Darker Gaslight 24B、Qwen3 24B-A4B 或 DeepSeek 33B 等模型。部分模型因速度過慢或品質較差而被排除,如 Mistral 24B、GPT 20B OSS 等。
事件背景
原文未提供關於本地 LLM 硬體瓶頸、MoE 架構原理或「Slop」定義的獨立背景說明,僅在評估標準中提及 Slop 模式(如「casting long shadows」或「smells like ozone and burnt sugar」)作為負面指標。原文提到使用 Kobold 或 LLAMA 運行模型,並指出 Kobold 無法載入 QWEN 35B 和 GLM 31B,需改用 LLAMA 並配合特定設定(如 FlashAttention、FastForwarding 等)以達到 40-64k 上下文長度。
社群觀察
社群用戶對清單內容提出質疑。用戶 ttkciar 指出貼文中可能存在錯誤或幻覺,特別是在 Hugging Face 上找不到名為 'Gemma-4-19B-A1B-it' 的模型,最接近的是 'gemma-4-19B-A4B-text-REAP-GGUF',並要求原作者驗證或修正。用戶 Manerfish 質疑為何清單中包含過時模型及奇怪的微調版本。用戶 paq85 建議首選 Qwen 3.8 27b,並認為其他選項不值得浪費時間。用戶 pixelbart 則對僅有 8GB VRAM 的用戶表示無奈。



