Apple M5 Ultra 晶片的首批基準測試顯示，在 Q4 量化下運行 Qwen 3.8 27B 模型時，生成速度為每秒 50 個 token，提示處理速度為每秒 1,800 個 token。這些初步數據表明該硬體針對此特定工作負載尚未達到最佳化狀態。 作為 Apple 首款四晶片架構且迄今最強大的晶片，M5 Ultra 在消費級 AI 運算方面實現了重大突破。了解其真實世界的推論能力，對於評估該硬體能否與 RTX 5090 等專用顯示卡競爭的本地 LLM 愛好者而言至關重要。 測試是在未使用多 token 預測（MTP）的情況下進行的，MTP 是一種可透過一次預測多個 token 來提升效能的推論解碼方法。社群成員指出，token 生成速度似乎未達該晶片記憶體頻寬的極限，這暗示了軟體優化仍有提升空間。

事件背景

Apple M5 Ultra 配備 36 核心 CPU 和 80 核心 GPU，採用四晶片架構設計，為本地 AI 任務帶來前所未有的效能。在 LLM 推論中，提示處理（PP）速度決定了模型讀取輸入的快慢，而 token 生成（TG）速度則決定了回應速率。MTP 等指標透過使用模型自身的預測作為後續 token 的草稿，從而加速推論過程。

社群觀察

社群反應兩極，部分用戶對其「令人擔憂的低效能」表示關切，認為無法合理化該硬體的高價。另一些人則認為 27B 模型可能不是該晶片的最佳選擇，建議使用如 Qwen Flash 等最佳化變體，並指出軟體驅動程式可能仍在成熟過程中。