llama.cpp 專案已合併一則拉取請求，新增了 /v1/systemone API 端點，專門用於支援 OpenJev、Julia-1 和 Laya 等「類 Jev」模型。此更新讓這些模型能在本地大型語言模型生態系中，利用獨特的分詞方法來執行推理與決策功能。 對於想要利用新興「系統一」決策模型的本地 AI 使用者而言，這具有重大意義。透過支援 GGUF 格式的這些特殊模型，llama.cpp 擴展了本地推論引擎在需要類型化機率輸出的任務上的多樣性。 該 API 支援 OpenJev、Julia-1、Lev、OpenJev 和 Kev 等模型，這些模型使用特定的分詞方案來進行推理模式。此實作允許切換思考模式並處理 kwargs，使其與現有的本地大型語言模型工具相容。

事件背景

GGUF（GPT-Generated Unified Format）是 llama.cpp 及相容後端使用的量化模型標準檔案格式，可實現高效的本地執行。類 Jev 模型（如 OpenJev）被設計為「系統一」決策引擎，它們會根據狀態評估類型化的問題，並返回選項、分數或是/否機率，這與傳統的生成式文字模型有所不同。