Exo Labs 宣稱利用 Thunderbolt 5 上的 RDMA 技術,將多台 M5 Ultra Mac Studio 集線化後,可達成 4.8 TB/s 的聚合記憶體頻寬。這項主張挑戰了過去認為 Thunderbolt 5 頻寬限制會妨礙本地大型語言模型(LLM)多機運作的假設。

Exo Labs 強調,在他們的 RDMA 集線解決方案中,低延遲比原始頻寬更為關鍵。4.8 TB/s 的數字代表多台機器之間的聚合頻寬,這項進展為運行大型本地 LLM 提供了單機高記憶體設備之外的潛在替代方案,讓使用者能透過增加單元來擴展記憶體與運算能力。

對於買不起滿配 M5 Ultra 的愛好者來說,這可能大幅降低門檻。社群討論的重點在於這項行銷主張是否反映了實際推論任務中的有效吞吐量。

事件背景

RDMA(遠端直接記憶體存取)允許資料在兩台電腦的記憶體之間直接傳輸,無需經過 CPU,與傳統的 TCP/IP 網路相比,能顯著降低延遲。Thunderbolt 5 提供高速連線,但其用於集線器記憶體存取的有效頻寬取決於通訊協定雜訊與實作效率。

社群觀察

社群反應兩極,部分使用者讚賞「每張桌子都有一個資料中心」的潛力,而另一些人則批評 4.8 TB/s 的主張是行銷話術,因為它只是將各個通道的頻寬相加,與互連速度無關。也有使用者對專案的開發進度及近期缺乏更新表示擔憂。