Spotify 工程師推出了「Portal」系統，這是一種智能路由機制，透過將任務委派給 Gemini 2.5 Flash 等較便宜的模型，將 Claude Code 的 Token 用量降低了 90%。此方法會針對特定的程式碼任務動態選擇最具成本效益的模型，而非僅依賴主要的高成本模型。 這項優化對人工智慧工程領域意義重大，因為它展示了一種在不妨礙生產力的情況下大幅降低推論成本的實用方法。它突顯了產業中日益增長的趨勢，即利用模型路由來平衡大型 LLM 應用中的效能、準確性與預算限制。 該系統使用路由器根據任務需求將請求導向不同的模型，其中 Gemini 2.5 Flash 在範例中擔任工作模型。一個關鍵的技術注意事項是，節省 90% 的輸入 Token 並不等於節省 90% 的成本，因為輸出 Token 通常更為昂貴。
事件背景
LLM 模型路由是指在應用程式與供應商 API 之間放置一個閘道，根據規則、成本或複雜度為每個請求動態選擇最適合的模型。這項技術有助於組織管理使用 Claude 或 GPT-4 等旗艦模型處理每個任務所產生的高昂成本，讓它們能對較簡單的作業使用更小、更便宜的模型。
社群觀察
社群成員對使用 Gemini 2.5 Flash 等「較笨」模型進行程式碼編寫的準確性表示懷疑，質疑準確性的妥協是否值得。其他人指出，90% 的 Token 節省僅限於輸入 Token，而輸出 Token 仍然昂貴，並批評缺乏關於任務成功率的數據。
