一個 GitHub 儲存庫提供了與 vLLM 相容的修改程式，可將猜測解碼草稿模型從 NVIDIA DGX Spark 裝置卸載至擁有 10-24 GB VRAM 的外部 GPU。此技術釋放了 Spark 上的本地記憶體，讓使用者能將更多資源配置給上下文視窗或更高的量化品質。 此解決方案有效擴充了專為桌面使用設計的 DGX Spark 有限的 VRAM 容量。它讓本地大型語言模型愛好者能夠運行更大的模型或獲得更好的推論效能，而無需升級主要硬體。 該修改程式支援 TCP 和 RDMA 協定進行資料傳輸，為擁有不同網路環境的使用者提供了靈活的連線選項。該專案基於 eugr-vllm 框架建構，專門針對 remote-dspark 使用案例來管理跨裝置的記憶體分配。

事件背景

NVIDIA DGX Spark 是一款基於 Blackwell 架構打造的緊湊型高效能 AI 超級電腦，設計用於直接在桌面上運行全天候的代理程式工作負載。猜測解碼是一種推論最佳化技術，利用較小的「草稿模型」來預測後續詞元，從而顯著降低延遲。然而，此過程需要額外的 VRAM 來儲存草稿模型，這在 DGX Spark 等記憶體有限的裝置上可能成為瓶頸。

社群觀察

社群反應普遍正面，使用者對擴展硬體潛力的可能性表示興奮。部分使用者詢問是否支援外部 GPU（eGPU），並要求提供具體的效能基準測試，以比較單一與雙重 Spark 設定的差異。