搭載 256GB 統一記憶體的 Mac M5 Ultra 已正式上市，引發社群關注。然而，目前公開的基準測試多來自 YouTube 網紅，被認為缺乏深度，難以評估其在本地大型語言模型（LLM）上的真實效能。使用者強烈呼籲提供更具體的數據，例如在 llama.cpp 或 vLLM 等特定軟體引擎及模型下的每秒 token 數（t/s），以便與 Nvidia 顯示卡進行客觀比較。此討論突顯了本地 AI 生態系統對可靠硬體基準測試的迫切需求，Apple Silicon 正試圖與傳統 GPU 工作流程競爭。準確的數據對於開發者和愛好者至關重要，用以判斷 Apple 統一記憶體架構的高成本是否能帶來實用的效能優勢。M5 Ultra 擁有高達 512GB 的統一記憶體和 1.2 TB/s 的頻寬，使其成為本地運行大型模型的有力候選者。社群成員推測其推理速度與 RTX 4090 相當，或者介於 4090 與 RTX 5090 之間，具體取決於模型和上下文長度。

事件背景

本地 LLM 推理是指直接在消費級硬體上運行大型語言模型，而非透過雲端伺服器。Apple Silicon 採用統一記憶體架構，CPU、GPU 和神經引擎共享同一記憶體池，這使得能夠運行體積龐大的模型，而傳統獨立顯示卡常因 VRAM 限制而無法支援。對這些系統進行基準測試時，需要測量不同量化層級和 vLLM 或 llama.cpp 等軟體引擎下的每秒 token 數（t/s）。

社群觀察

社群對淺顯的網紅影片感到不滿，更偏好包含詳細圖表和特定指標（如在 llama.cpp 上的每秒 token 數）的測試結果。使用者普遍認為 M5 Ultra 是 RTX 4090 的競爭對手，並指出雖然價格高昂，但 256GB 的容量為本地運行大型模型提供了獨特的價值。