vLLM Semantic Router 團隊發布了 Decision 3.0 (d3),這是一個參數規模從 0.6B 到 27B 的開源多模態決策模型系列,採用 Apache-2.0 授權,所有模型均能處理文字、圖像和影片輸入。
**技術架構與功能** Decision 3.0 基於 Qwen3.5 (0.8B / 2B / 4B / 9B) 和 Qwen3.8-27B 構建。參數計數包含視覺編碼器:4B 模型中包含 0.33B 視覺參數,27B 模型中包含 0.46B 視覺參數。模型支援三種決策類型:選擇、是/否、評分。對於每個答案都會提供概率,且不進行文字生成。對於同一輸入的多個問題,可在一次呼叫中回答,每個問題透過對輸入進行獨立的正向傳播處理。
**多模態輸入限制** - **圖像**:每個請求可處理多張圖像,解析度最高可達 1.6 MP。 - **影片**:每個請求可處理多個影片檔案(支援 MP4, WebM, MOV, MKV 格式),以 2 fps 取樣,整個片段最多取樣 32 幀,每幀解析度最高可達 0.2 MP。 - **權重與訓練**:使用 BF16 權重,可透過 Transformers 載入(需設定 trust_remote_code=True),訓練於 AMD Instinct MI325X 硬體上。
**效能結果** 根據發布者使用官方 Jev 0.3 套件對已發布權重進行的評估: - **總體排名**:27B 模型在文字基準得分 64.7,視覺基準得分 71.6,在 Jev Decision Index 的兩個榜單上均排名第一,領先所有列出的模型,包括 Jev 自家的模型。 - **各尺寸領先**:0.6B、0.8B、4B 和 9B 模型均在各自尺寸類別中領先。其中 9B 模型(d3-flash)的效能超越了上一代 27B 模型(Decision 2.0)。 - **影片零樣本測試**:所有模型在訓練過程中均未見過影片數據。在包含 19,140 個 Perception Test 驗證問題的所有測試中,27B 模型得分 77.4,4B 模型得分 70.3。
模型權重已發布於 Hugging Face 集合:https://huggingface.co/collections/vllm-sr/decision-30
事件背景
原文未提供關於 Jev Decision Index、vLLM Semantic Router 或 Qwen 模型的額外背景定義或歷史資訊,僅說明 Decision 3.0 基於 Qwen 架構構建並參與 Jev 評估。
社群觀察
社群討論主要集中在以下幾點: 1. **估值與商品化**:用戶 pmotiveforce 評論稱 Typesafe AI 目前估值 75 億美元,而這些模型正成為商品,這令人覺得好笑。用戶 Brilliant-Weekend-68 則質疑為何開發 Jev 的公司估值高達 75 億美元。 2. **生態系整合**:用戶 jacek2023 指出 llama.cpp 的支持已完成,合併請求僅耗時 2 小時,並提供了 GGUF 檔案的連結(包括 vllm-d3-nano-GGUF 和 vllm-d3-mini-GGUF)。 3. **推理速度**:用戶 RaGE_Syria 詢問這些模型的推理速度,並提到微軟最近發布的 Decision-1 聲稱響應時間為 85 毫秒,該用戶希望將其用於遊戲控制測試。



