PostHog 發布了 Jeeves,這是一個 9B 參數的決策模型,透過整合推理能力來改進傳統的 Jev 類架構。雖然它在 JevBench 等基準測試中達成了更高的準確率,但社群回饋指出其延遲成本顯著,p90 回應時間約為 17 秒。 此發布透過引入推理能力,解決了快速且廉價的 Jev 類模型在準確率上的不足,為複雜的決策管線提供了校準過的替代方案。它影響開發者,因為它在簡單分類器和較慢、較重的 LLM 之間提供了中間選項,儘管延遲可能限制其在即時應用中的實用性。 Jeeves 基於 Qwen3.5-9B 建構,使用 LoRA 和指針頭(pointer head),並透過 SFT 和 CISPO 進行訓練以產生校準過的決策機率。該模型透過與 Jev 相容的 API 支援是非、多選和評分問題,但與標準 Jev 模型相比,其推理過程引入了顯著的計算開銷。

事件背景

Jev 類決策模型是小型、快速的 AI 模型,專為結構化決策(如路由或排序)設計,與大型語言模型相比,具有低延遲和低成本的優勢。另一方面,推理模型是經過微調的 LLM,透過生成中間推理軌跡來執行多步驟問題解決,這提高了準確率但增加了推理時間。Jeeves 試圖將這兩種方法結合,在 Jev 風格的架構中加入推理能力。

社群觀察

社群反應褒貶不一,用戶讚賞其工程技術,但批評其高延遲,指出 17 至 30 秒的 p90 時間可能抵消了 Jev 類模型的速度的優勢。有些人認為在這種速度下,直接改用 LLM 可能更好,而其他人則認為在非即時任務中,準確率的提升具有價值。