IBM 發布 Granite Switch 4.1 模型（包括 Granite-Switch-4.1-8B 和 -30B），該架構延續了去年春季推出的 Granite Switch 專案的模組化開發方法。新模型透過單一託管端點，能夠在自然語言回應、通用與專用決策任務以及語音轉文字任務之間高效切換。具體而言，這些模型配置包含：一個用於通用決策的新 Decision aLoRA（例如 v1/systemone）、一個在安全相關決策任務上平均表現優於 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash 的專用 Guardian aLoRA，以及嵌入用於轉錄任務的 Granite-Speech-5.0-Turbo-CTC，這是 OpenASR 排行榜上最快的 ASR 模型。所有這些技術與基礎模型組合成單一模型，其在 GPU 上佔用的 VRAM 約等於僅使用基礎模型時的用量，意味著以更少的 GPU 實現更多功能。由於 Switch 適配器被構建為快取高效的「啟動 LoRA」（Activated LoRAs），基礎模型生成產生的 KV 快取可被後續基於適配器的決策重複使用。結合團隊近期對 vLLM 的贡献以加速低秩適配器推理，以及共置的 ASR 編碼器，Granite Switch 4.1 模型能夠以極快的速度在聊天請求、決策請求和語音請求之間切換。此外，發布了一個 Speech-to-Decisions HF space 示範，其中 granite-switch-4.1-8b 在單一端點上即時執行音頻轉錄、生成摘要、篩選有害內容並測試 15 個其他用戶定義的標記。在與 Jev-27B（凍結基礎 Qwen 模型 + 1 個通用決策 LoRA）的「競賽」中，Granite-Switch-4.1-30B（凍結基礎 Granite + 4 個專用 aLoRAs）能夠比競爭對手更快地完成一個現實世界的 5 步 RAG 工作流程。IBM 還展示了一個自定義的 3B 參數 Granite Switch 模型，該模型在遊玩經典遊戲 Doom 時能做出瞬間決策，速度達到每秒 60-100 次決策，相比之下 Jev 報告的速度為每秒 10 次決策；與 Jev 不同，該 Granite Switch 模型在遊戲過程中還能敘述並回應用戶問題。
事件背景
Granite Switch 專案於去年春季推出，旨在實現模組化的模型開發方法。Granite Libraries 先前發布了一個包含專用「決策模型」適配器和其他專用任務適配器的儲存庫，這些適配器可以組合成自定義的 Granite Switch 模型。雖然 Jev 和其他閉源決策模型專注於通用性，但 IBM 發現許多專用的 granitelib 適配器在專用分類任務上的表現優於通用模型。由於適配器共享基礎模型的 KV 快取，在通用決策適配器旁邊添加專用模型的成本幾乎為零，從而實現通用模型的廣泛覆蓋和專用模型在關鍵任務上的更高準確率。IBM 計劃發布一個用於在 Mellea 中訓練適配器的 Adapter SDK，以及其他教程和 Granite Switch 支持。
