llama.cpp 正式透過 /v1/systemone 端點引入「決策模型」功能。該系統允許模型根據輸入的狀態（支援文字、JSON 或螢幕截圖），在單次前向傳遞中為多個選項返回機率分佈。

此架構旨在解決本機推論任務中的狀態管理挑戰，特別是在角色扮演等互動應用程式中，能有效防止角色行為偏離既定情境。與傳統的下一個詞元預測不同，決策模型明確模擬決策結果，而非僅進行順序文字生成。

這項更新為開發人員提供了處理複雜狀態轉換的新工具，使其不必完全依賴外部上下文視窗來維持互動的一致性。

事件背景

本機 LLM 推論是指直接在用戶裝置（如電腦或手機）上運行大型語言模型，而非將提示發送到雲端伺服器。在此領域中，狀態管理是一大挑戰，因為模型需要在多次互動中記住上下文並保持一致性。Ollama 和 LM Studio 等工具透過在本機管理模型的記憶體和執行環境來促進這一過程。

社群觀察

社群反應呈現兩極化。部分用戶認為此功能有助於防止角色扮演時的情境偏離，並詢問相關設定；但也有用戶對其必要性表示懷疑，認為類似概念（如 Jev 模型）已在其他地方實現，質疑此特定實現的獨特價值與市場定位。