Underdog AI 於 2026 年 10 月 7 日發布了 Saluki 27B,這是 Qwen3.8-27B 的 2-bit 量化版本。該模型檔案大小從約 54 GB 壓縮至 7.89 GB,可在標準的 llama.cpp 環境下運行,且無需特殊軟體,最低硬體需求為 16 GB RAM 的筆記型電腦。

Saluki 專為代理(Agent)任務設計,特別是在工具調用(Tool Calling)方面表現突出。在 Underdog AI 自建的 Underdog Bench 測試(基於 Berkeley Function Calling Leaderboard 的 120 個任務)中,Saluki 得分為 88/120,高於其他測試過的 2-bit 構建版本(如 Mia 2-bit 的 85 分和 ISTA 2-bit 的 76 分)。Saluki 在「選擇正確工具」的任務上表現最佳,在 48 個相關任務中正確完成了 47 個,遠超 Mia 的 31 個。然而,官方明確指出,雖然 Saluki 得分高於全尺寸模型(84 分),但他們不宣稱其比原始模型更聰明,因為 120 個任務的測試規模較小,且部分領先可能來自運行間的變異。此外,Saluki 在競賽數學(AIME)上保留了全模型 82% 至 85% 的分數,但在日常推理和工具使用上表現更好。

在並行工具調用(Parallel Tool Calling)方面,Saluki 表現較弱。在 100 個並行調用任務中,嚴格評分下僅通過 42 個,使用寬鬆解析器後提升至 55 個。相比之下,Mia 2-bit 在嚴格評分下通過 69 個,寬鬆評分下通過 70 個,被官方稱為該項測試的明顯領先者。不過,Saluki 在此項測試中仍勝過其所基於的全尺寸模型(嚴格/寬鬆均為 35 個),因為全尺寸模型在關閉思考模式時,往往在需要多次調用時僅進行一次調用便停止。

在編碼代理測試(SWE-bench Verified)中,Saluki 修復了 50 個問題中的 30 個,保留了全尺寸模型 33 個修復中的 27 個。在網頁瀏覽測試(WebWalkerQA)中,Saluki 正確回答了 150 個問題中的 60 個。官方指出,另一款構建版本 Main 僅回答了 48 個,瀏覽能力較弱,這是發布 Saluki 的原因之一。原文表格顯示全尺寸模型在此項測試中標記為「未運行」(not run),因此無法直接比較 Saluki 與全尺寸模型在瀏覽測試上的表現。

在指令遵循測試 IFEval 中,Saluki 的寬鬆分數為 93.5,嚴格分數為 90.9,高於全尺寸模型公開的 91.50 分(但需注意測試環境與標準差異)。Saluki 不支援圖像輸入,且在處理文字遊戲(如回文、元音模式)方面表現較差。官方建議在需要快速工具調用時關閉思考模式,而在需要謹慎推理時開啟預設思考強度。

事件背景

Qwen3.8-27B 是一個開源模型,根據 Artificial Analysis 的數據,其效能超越了六個月前的前沿模型 Claude Opus 4.6 Max。Saluki 基於 ISTA-DASLab 發布的 2-bit 版本構建。與使用 ExLlamaV3 格式且無法在 llama.cpp 中載入的 Mia 模型不同,Saluki 使用標準的 llama.cpp 格式,確保了更廣泛的相容性。

社群觀察

社群對此次發布反應兩極。部分用戶批評為量化模型取花哨名稱(如 Saluki)的做法,認為應直接稱為「量化」(Quant)。另有用戶對 2-bit 量化的實際效果表示懷疑,認為這可能無法帶來真實世界的良好結果。還有用戶指出文章充滿行銷話術,並呼籲使用 Prism 或 Ternary 等標準化基準測試,而非 Underdog AI 自建的 Underdog Bench。