LemonSeed Studio 發布了 LemonSeed Engine (LSE) v0.5.8 版本,展示了在 iPad Pro 透過 Thunderbolt 外接盒連接 AMD Radeon AI PRO R9700 執行 Qwen3.8-27B Q4 模型的性能數據。該引擎將未修改的上游 Linux amdgpu 驅動程式嵌入為 PCIDriverKit 擴充功能,並在 iPadOS、macOS 和 Linux 上運行相同的推理引擎。測試結果顯示,使用 DFlash2 投機解碼技術,針對程式碼提示(code prompt)的解碼速度在 R9700 上於 iPadOS 可達 158.5 tok/s,macOS 為 159.4 tok/s,Linux 為 144.6 tok/s;而在 Strix Halo (Radeon 8060S) 上則為 64.4 tok/s。原文照片展示設定為 131k 上下文,但未明確標註上述解碼數據是在該上下文長度下測得。預填充(Prefill)速度在 4K tokens 時,R9700 平台約為 1,400-1,636 tok/s,Strix Halo 為 517 tok/s;在 32K tokens 時分別為 1,395/1,401/1,226/462 tok/s。v0.5.8 版本新增了預設啟用的 DFlash2 草稿樹、針對 Strix Halo 的預填充與解碼優化、修復啟動時 GPU 錯誤,並簡化了 Linux 環境的 HSA runtime 依賴。

事件背景

LemonSeed Engine (LSE) 是一個跨平台推理引擎,支援 Linux、macOS 和 iPadOS。其核心機制是記錄模型的前向傳播作為計算圖,進行算子融合並為特定 GPU 生成核心。當核心有多種佈局時,引擎會在設備上測量並保留最快的版本。投機解碼技術(包括 MTP 和 DFlash2)根據測量的接受率和成本來決定驗證多少草稿 token。在 iPadOS 上,該專案透過將未修改的上游 Linux amdgpu 和 amdkfd 驅動程式嵌入為 PCIDriverKit 擴充功能(mac_linuxgpu),實現了在 Thunderbolt 外接盒中的 AMD GPU 上進行設備端推理。

社群觀察

社群對 iPad 能使用桌面級 GPU 表示驚訝與讚賞。部分用戶詢問如何在 iPadOS 上設定 eGPU。有用戶質疑解碼速度數據過於樂觀,認為在 4k 上下文下 66 tok/s 更為真實,並引用了 LSE v0.5.7 發布說明中在 temperature 0.6 設定下的基準數據作為對比。另有用戶提到 gufo 工具在 Strix Halo 上運行 Qwen3.8-27B Q4 可達 40 tok/s 及 600-700 tok/s 的預填充速度,認為這已具實用性。還有用戶詢問 Q8 和 Q16 量化級別的速度測試結果。