開發者成功在舊款索尼 PSP 硬體上部署了一個擁有 9000 萬參數的對話式大型語言模型，推理速度達到每秒 0.5 至 0.6 個 token。這項示範證明了現代 AI 模型可以在二十年前的裝置上運行，儘管延遲相當明顯。 此專案透過展示即使是輕量級的參數規模也能在受限的舊硬體上運作，突顯了邊緣 AI 與復古運算的潛力。它啟發社群探索模型最佳化的極限，並證明 AI 的普及性並不限於現代高端裝置。 該模型託管於 GitHub 的 LLMPSP 專案中，能生成短篇故事和程式碼等可用但不完美的輸出，並常因體積過小而產生幻覺。每秒 0.5 至 0.6 個 token 的速度意味著用戶需等待 1 至 3 分鐘才能收到回覆，使其成為概念驗證而非實用的日常工具。
事件背景
大型語言模型（LLM）是經過大量文本訓練的 AI 系統，用於理解和生成人類語言，其效能通常隨參數數量增加而提升。索尼 PSP 於 2004 年推出，是一款受歡迎的手持遊戲主機，與現代標準相比，其處理能力和記憶體相當有限。在該硬體上運行 LLM 需要進行大量的量化與最佳化，以將模型的權重和計算需求適應裝置的限制。
社群觀察
社群對這項復古運算的成就表現出高度熱情，有使用者指出將 PSP 誤稱為 Sony Saturn 的諷刺意味。其他人則受到啟發，打算在自己的舊裝置如任天堂 3DS 上進行類似的專案，還有一位評論者提到了在 Commodore 64 上運行 LLM 的類似案例。
