開發者推出了開源工具 whatmodel.sh,該工具允許使用者輸入 RAM 和 GPU 規格,以查看可在本地運行的 AI 模型排名及執行指令,並能將這些模型與具有相同分數的 API 模型進行比較。開發者指出,該工具的開發過程讓他意識到,配備 32GB 記憶體的 Mac 現在可以完全免費且本地運行得分與 GPT-5 相當的模型(例如 4-bit 量化的 Qwen3.8 27B)。

該工具為每個模型提供一個分數,該分數是基於對 19,731 個已發布基準測試結果的擬合計算得出,且每個結果都連結到其原始來源。方法論詳細說明位於 whatmodel.sh/method,數據、評分程式碼和基準測試腳本均已開源,存放於 GitHub 倉庫 github.com/jakemanger/whatmodel。使用者也可以透過終端機指令 `curl whatmodel.sh` 存取該工具。

開發者歡迎社群貢獻,提供了用於收集真實世界每秒 token 數(tok/s)的基準測試腳本,並允許使用者在 GitHub 上提交新模型及其來源的基準測試分數。

事件背景

whatmodel.sh 是一個開源專案,其數據、評分程式碼和基準測試腳本均公開於 GitHub。該工具的核心機制是透過擬合 19,731 個已發布的基準測試結果來為模型評分,並提供與 API 模型的比較功能。開發者強調其方法論透明,每個分數結果均可追溯至原始來源。

社群觀察

社群討論主要集中在工具的準確性、功能差異及可用性問題上:

1. **硬體過濾邏輯爭議**:使用者 Perfect-Campaign9551 批評當輸入 RAM 或 GPU 數值時,工具應自動過濾掉閉源模型,因為這些模型不需要本地硬體資源,但目前仍需手動選擇「Local」選項。此外,該使用者指出工具建議其配置只能運行 2-bit 的 Qwen 3.8 Next Flash,但他使用 Strata 工具時可以順利運行 3-bit 版本,認為工具的建議不準確。

2. **功能比較與缺失**:使用者 roworu 詢問該工具與 llmfit 的區別,並指出 whatmodel.sh 缺乏對硬體預測每秒 token 數(TPS)的功能。

3. **數據整合建議**:使用者 asankhs 建議從 Hugging Face 的 LocalLLaMA local-model-explorer 空間獲取現有數據以改進工具,並指出該數據集也是開放的。

4. **自訂規格支援**:使用者 OrrinW01 建議增加自訂 RAM/VRAM 按鈕,因為目前 40/80 GB 等格式不被視為有效輸入,儘管他擁有 2x 3080 20GB 顯卡並已運行 Qwen 3.8。

5. **其他反饋**:使用者 dadnothere 幽默地詢問 1GB VRAM 的選項在哪裡。