Glean 執行長 Arvind Jain 說明如何透過模型路由策略，在前沿模型與開放權重模型之間取得平衡，從而控制 AI 成本。該公司利用大規模的人類回饋迴圈，持續提升其路由系統的準確度與效率。 這種方法透過將任務智能匹配至最具成本效益的模型，解決了企業 AI 中高推理成本這一關鍵營運挑戰。它突顯了一種日益增長的產業趨勢，即組織在不犧牲效能的情況下優化基礎設施支出。 該系統將簡單任務（如問候）路由至預算型模型，而將昂貴的先進推理模型保留給程式碼生成等複雜任務。人類回饋用於訓練獎勵模型，使路由決策與實際使用者偏好及結果保持一致。

事件背景

模型路由是 AI 基礎設施中的一種技術，用於評估傳入請求並自動將其導向最適合的語言模型。開放權重模型提供公開可用的訓練參數，為要求較低的任務提供了比專屬前沿模型更具成本效益的替代方案。人類回饋強化學習（RLHF）是一種透過根據使用者互動訓練獎勵模型，來使 AI 行為與人類偏好保持一致的方法。