一位 Reddit 用戶分享了一套經過驗證的硬體配置,使用 16 張消費級 RTX 5060 Ti 顯示卡和兩座 PLX PEX88096 交換器來運行 DeepSeek V4 Flash。該設置在張量並行度為 8、流水線並行度為 2 的情況下,可達到每秒約 150 個 token 的生成速度,並使用自訂的 Aikitoria 修補版 NVIDIA 驅動程式來實現對等通訊。系統需要特定的 BIOS 設定,包括將可變大小 BAR 設為 16 GiB,MMIO High Base 設為約 56T,並使用未簽章的 Aikitoria 修補版驅動程式版本 610.43.02-p2p。作者還進行了自訂程式碼編寫,以在 PLX 叢集內啟用全歸約操作,並在 DSpark 中實現流水線並行。

事件背景

PLX(現為博通)PEX88096 是一款高效能的 PCIe Gen4 交換器,允許多個顯示卡直接相互通訊,相比透過 CPU 路由傳輸,能降低延遲。可變大小 BAR 是一種功能,允許 CPU 一次性存取整個 GPU 記憶體,這在多 GPU 設置中至關重要,因為需要高效載入大型模型權重。Aikitoria 驅動程式分支啟用了消費級顯示卡的對等(P2P)記憶體存取功能,而這些功能在預設情況下通常被禁用。

社群觀察

社群成員對該設置的複雜度和規模表示驚嘆,許多人要求提供實體機櫃的照片。大家也對讓自訂全歸約和流水線並行順利運作所需的「氛圍編碼」努力表示讚賞。