利用遊戲主機 GPU 執行本地語言模型
PS5LM 是一個開源專案，旨在將 PlayStation 5 轉變為私有的家庭模型伺服器。它透過 llama.cpp 的 Vulkan 後端，直接調用 PS5 內建的 RDNA 2 GPU 進行運算。系統可分配高達 11.4 GB 的共享記憶體給模型及其上下文使用，支援 llama.cpp 所涵蓋的所有架構與量化格式。
該應用程式無需連接 PC、雲端服務或網路帳號即可獨立運作。一旦模型載入完成，主機即成為一個獨立的推理節點，可供區域網路內的筆電、手機或其他開發工具調用。
提供 OpenAI 與 Anthropic 相容的 API 介面
PS5LM 暴露了標準的 API 端點，包括 OpenAI 的 /v1/chat/completions 以及 Anthropic 的 /v1/messages。這意味著現有的客戶端軟體（如 Claude Code）可以直接指向主機的 IP 地址與端口 8081 進行對話或程式碼生成任務。
除了文字對話，該工具也支援具備影像投影器（Image Projector）的模型，例如 Gemma 4、MiniCPM-V 和 d1。這些模型可以在聊天介面或決策任務中接收並處理圖片輸入。
新增決策模型支持與即時監控功能
最新版本引入了對「決策模型」（Decision Models）的支持，這類模型由 Ollaya 驅動，能在單次前向傳播中輸出帶有校準機率的類型化決策，而非生成文字。這使得 PS5 能夠透過 /v1/systemone API 快速回答關於文本或圖片的分類、評分及是非題，適用於需要低延遲判斷的場景。
應用程式內建了監控頁面，可即時顯示主機過去兩分鐘或一小時內的溫度、功耗以及 GPU 與 CPU 負載圖表。此外，還有一個 TV 介面會將網路上的請求來源、內容及回覆過程串流顯示在螢幕上，方便使用者透過手柄進行基本操作與測試。
硬體效能數據與模型選擇建議
根據專案提供的測試數據，在 PS5 Slim 上執行不同規模的 Qwen 3.5 模型有不同的效能表現。Qwen 3.5 0.8B (Q4_K_M) 可達到每秒 207 tokens；Qwen 3.5 9B (Q4_K_M) 約為每秒 55 tokens；而較大的 Qwen 3.8 27B (UD-Q2_K_XL) 則降至每秒約 20 tokens，但支援 64k 的上下文長度。
對於決策模型 d1 Omni 600M，處理三個文字問題僅需 0.3 秒，處理一張 720p 圖片並回答七個問題則需 2.9 秒。應用程式內建規劃器會自動分析 GGUF 檔案，根據剩餘記憶體推薦最合適的上下文長度與快取設定，並提供經過主機實測的建議模型清單供下載。
安裝需求與社群回饋
運行 PS5LM 需要固件版本介於 7.00 至 13.60 之間且已越獄的 PS5，並必須載入 kstuff-lite、etaHEN 和 ShadowMountPlus 等必要 Homebrew 元件。建議同時安裝 elfldr 以獲取硬體監控數據，以及 ftpsrv 以便透過 FTP 傳輸模型檔案。
社群討論指出，雖然大型模型在低量化下速度較慢，但對於需要持續輸出且對智力要求不極高的長期任務（如監控伺服器錯誤率或審查安全影像）仍具實用性。另有使用者建議此技術可能適用於將 PS5 硬體用於其他通用計算場景，甚至設想未來遊戲 NPC 可結合 LLM 技術。
