Ollaya 是一個基於 Apache-2.0 授權的 Rust 執行環境,允許使用者透過相容 TypeSafe 的 API,在本地端下載並運行 Laya、Kev 和 Qwen3Guard 等開放決策模型。這為專有的 Jev 風格決策模型提供了一種快速、隱私且開放原始碼的替代方案。
Ollaya 的操作方式類似於 Ollama,提供如 'ollaya serve' 和 'ollaya run' 等指令,並無縫處理背景服務與命令列介面的互動。雖然它支援 Laya 等模型的校準概率,但根據底層模型包裝器的不同,某些實作可能會使用原始 softmax 輸出。
事件背景
Jev 風格的決策模型是一類新型的 non-autoregressive(非自回歸)AI 架構,它們不生成文字,而是以毫秒為單位回傳型別化的決策、分數或概率。與需要逐個生成 token 的传统大型語言模型不同,這些模型在一次前向傳播中即可處理輸入狀態並回傳結構化輸出,非常適合用於低延遲的應用程式邏輯。
社群觀察
社群成員正在討論 AI 新創公司的經濟影響,指出開放原始碼的複製品可能在幾週內出現,從而削弱專有技術的優勢。討論中也提到了技術細節,例如原始 softmax 與校準概率之間的差異,並比較了 Laya 與 Jev 之間的效能指標。



