Strands Labs 發布了 Strands Decider 2B,這是一個擁有 20 億參數的開源決策模型(也稱為「系統一」模型),旨在為本地開發、快速實驗和代理工作流提供低延遲的決策能力。與能生成任意輸出的大型語言模型(LLM)不同,決策模型專精於從預定義選項中進行選擇並分配數值分數(如二元判斷或情感分析),這使得它們在特定任務上比同尺寸的 LLM 更快、更準確,且能始終從選項中給出答案。然而,這種架構犧牲了靈活性,使其不適合處理複雜推理問題、程式碼生成、聊天機器人或文件摘要等需要生成文本的任務。

Strands Decider 2B 基於 Qwen3.5-2B 預訓練模型的主幹(torso),移除了語言模型頭(LM head),並替換為一個僅有一百萬參數的指標頭(pointer head),該頭通過比較選項位置的隱藏狀態與 <answer> 位置的隱藏狀態來評分。主幹部分使用 rank-16 LoRA 適配器進行微調。該模型在 JevBench 公開測試集上的準確度和校準能力(Brier score)表現具有競爭力,在 2B 級別模型中排名第 3(若排除略超過 2B 的模型則排名第 1)。在延遲方面,該模型在廣泛可用的硬體上(如本地 Nvidia RTX 3090)的中位決策延遲約為 115 毫秒,在 M3 MacBook 上小任務的中位延遲約為 153 毫秒,延遲隨任務大小(token 數)線性增加。

該模型已被開源發布於 GitHub 和 Hugging Face,包含所有訓練數據和腳本。開發者可以透過 `strands-decider` CLI 工具輕鬆試用,或在 Strands agent 中整合使用。例如,在一個演示場景中,模型可用於檢查工具調用的參數是否基於用戶實際提供的資訊,以及調用是否過早,從而讓代理在執行工具前先向用戶澄清,而非盲目猜測。Strands Labs 選擇 2B 參數規模是為了鼓勵實驗,因為它足夠小以便在現有硬體上運行和訓練,同時又足夠大以處理有意義的任務(如在 JevBench 上正確完成 100% 的簡單任務)。

事件背景

決策模型或「系統一」模型是近期受到關注的一類新型 AI 模型,自 TypeSafe AI 推出 Jev 以來尤為顯著。這類模型與傳統 LLM 的主要區別在於其不生成任意文本,而是針對特定問題從給定選項中進行選擇並輸出置信度分數。這種設計使得它們在特定決策任務上具有極低的延遲和高可靠性,特別適合用於驅動代理工作流中的模型路由、工具選擇、評估、護欄、記憶管理和策略分類等任務。此外,決策模型能為每個決策提供高質量的可靠性分數,這是前沿 LLM 推理 API 通常不提供的功能。Strands Labs 認為這類模型將推動代理 AI 領域的創新,並已開始探索將決策模型與 LLM 結合的混合代理架構,以降低成本和延遲。

社群觀察

社群討論集中在實際部署的硬體優化、API 命名慣例以及模型開發過程中的技術細節。有用戶指出,若要在個人電腦 CPU 上永久運行此類微型模型,性能可能不理想,建議將處理任務卸載到 NPU(神經處理單元),這可帶來兩倍的性能提升和四分之一的功耗降低,並減少風扇噪音。另有用戶對 API 中使用 `noul` 作為二元選擇的命名表示疑問,詢問這是否有特定含義還是僅為複製 Jev 的 API。此外,有用戶對模型開發迭代過程中的架構選擇提出質疑,特別是在基準測試圖表中,早期版本(v10, v11)被標記為「其他系統」且 v11 的表現似乎優於最終發布的 v19,用戶詢問為何這些早期版本被視為其他系統,以及為何未採用 v11 作為開發路徑。