Apple M5 Ultra 與 M6 晶片的首批基準測試結果顯示，其圖形處理效能可與 NVIDIA RTX 4080 及 RTX 3090 相媲美。這些數據突顯了兩款晶片在本地大型語言模型（LLM）訓練與推論任務中的應用潛力。
在硬體規格方面，M5 Ultra 採用四晶片架構，配置最多 80 個 GPU 核心與高達 512GB 的統一記憶體。在 BF16 精度下，其運算能力約為 140 TFLOPS。此外，M5 Ultra 與 M6 均支援 BF16 和 INT8 精度，但不支援 FP8/FP4，且記憶體頻寬最高達 1.2 TB/s。
事件背景
Apple Silicon 是 Apple 設計的自訂 ARM 架構處理器，將 CPU、GPU 和神經引擎整合於單一晶片上。M5 Ultra 透過 UltraFusion 技術連接四個晶片，實現了巨大的記憶體頻寬與容量。由於本地 LLM 推論需要大量 VRAM 來載入模型權重，這種統一記憶體架構讓消費級硬體也能運行大型模型，成為其顯著優勢。
社群觀察
社群成員對 M5 Ultra 的高記憶體容量與電源效率印象深刻，並將其與 RTX 3090 進行有利比較。有用戶指出，在 LoRA 訓練期間能夠停用梯度檢查點（gradient checkpointing），對於某些工作流程而言，其帶來的優勢可能超過 CUDA 生態系統的好處。
