Linux 核心更新後,現已原生支援透過 USB-C 將 Mac 視為直接連接的網路節點。此功能讓 Mac 可負責託管大型模型,而 Linux 節點則專注於運算,形成分散式 AI 拓撲。
這項技術消除了對乙太網路適配器、樹外驅動程式或額外實體網路的需求,實現設備間的直接連線。其運作依賴 USB gadget 子系統模擬乙太網路裝置,使 macOS 與 Linux 能透過單一電纜進行無縫 IP 通訊。
社群基準測試顯示,在 Thunderbolt 3 環境下運行 llama.cpp 等推論框架,對於量化模型而言具有相當實用的效能。
事件背景
USB Gadget 模式允許裝置作為主機的外接設備(客戶端)運作,而 Thunderbolt 網路則實現兩台電腦之間的高速資料傳輸。在 AI 領域中,此設定允許將模型權重分散到不同裝置,其中一台機器持有參數,另一台執行計算,從而最佳化記憶體使用率和運算能力。
社群觀察
社群成員對混合叢集的潛力感到興奮,部分用戶報告了透過 USB-C 成功測試 llama.cpp 的經驗。用戶特別期待將 Mac 上的 MLX 與 Linux 上的 CUDA 整合,以建立高效的共享專家架構。



