一位使用者將其家庭實驗室的 DGX Spark 叢集從 16 個節點擴展至 36 個，達成了 4.6TB 的統一記憶體容量。該配置利用自建的 Hermes 和記憶體側車系統，在分散式節點間管理持久的 AI 代理程式。此配置為家庭實驗室愛好者提供了一種可擴展且具成本效益的企業級硬體（如 B200 或 B300）替代方案。它突顯了分散式推理叢集同時處理多樣化工作負載的潛力，從最新進模型的服務到影片生成皆能兼顧。該叢集透過使用 QSFP56 電纜和分接電纜的 200Gbps Fabric Switch 進行連接，以支援高頻寬通訊。架構中將 16 個節點專門用於 Kimi K3 等最新進模型，同時保留其他節點進行重新排序、嵌入和多媒體任務。

事件背景

NVIDIA DGX Spark 是一款配備 Grace Blackwell 架構和 128GB 統一 LPDDR5X 記憶體的緊湊型 AI 超級電腦，允許 CPU 和 GPU 存取相同的記憶體池。這種統一記憶體架構對於在桌面或機架安裝環境中高效運行具有長上下文視窗的大型語言模型至關重要。

社群觀察

社群成員對其規模和成本表示驚嘆，有使用者估計硬體價值達 15 萬美元。其他人則評論了維持此設置所需的投入，將其比作在地下室安裝巨大的水族箱或使用起重機搬運重物。