一位使用者在配備 256GB RAM 的 M5 Ultra 80 核心 Mac Studio 上，對 GLM-5.3-Flash 模型進行多輪代理推理基準測試，結果顯示速度約為每秒 35 個記號。此結果引發社群對於 GPU 性能是否相對於大容量記憶體而言不足的討論，暗示記憶體頻寬可能成為限制因素，而非純粹的運算能力。
GLM-5.3-Flash 模型擁有 3200 億總參數，每個記號有 180 億活躍參數，需要大量記憶體頻寬來維持高吞吐量。一位評論者計算指出，在每秒 35 個記號的速度下，系統使用了約 532 GB/s 的頻寬，低於 M5 Ultra 理論上的 1.2 TB/s 限制，這暗示了潛在的優化空間或測量差異。
事件背景
代理推理是指 AI 代理在多輪對話中讀取檔案、呼叫工具並管理不斷增長的上下文的多步驟過程。GLM-5.3-Flash 是一個原生多模態的混合專家模型，專為程式設計、推理和代理工作負載設計，與密集模型相比，每個記號所需的活躍參數較少，從而提供高效率。M5 Ultra Mac Studio 配備了強大的 GPU 和最高 512GB 的統一記憶體，旨在處理大型本地模型。
社群觀察
社群成員對設定的效率展開討論，有人指出 256GB 是最佳選擇，而其他人則質疑根據硬體規格，記號速度為何如此低。使用者還將與其他工具（如 oMLX）和硬體（如 DGX Spark）的性能進行了比較，強調在高速下保留長上下文是此配置的主要差異點。
