一位 Reddit 使用者分享了其最新組裝成果，利用十二張 NVIDIA CMP 170HX 顯示卡建構出總共 768GB VRAM 的客製化機櫃。這套被稱為「Frankenbuild」的系統，總成本低於單張 RTX 6000 Ada 顯示卡，卻能透過 vLLM 和 llama.cpp 高效運行 GLM-5.3、Qwen3.8-2.4T 等大型模型。
該系統採用與企業級加速卡同源的 NVIDIA GA100 Ampere 架構，並透過光纖連接進行 RPC（遠端程序呼叫），以便在需要更多記憶體時與其他設備連結，實現分散式推理。
事件背景
NVIDIA CMP（加密貨幣處理卡）主要設計用於加密貨幣挖礦，且通常沒有視訊輸出埠，因此在二手市場價格較低。對於本地大語言模型而言，VRAM 容量至關重要，因為它決定了可以載入的模型大小；較大的模型通常具有更好的推理能力，但需要更多記憶體。vLLM 和 llama.cpp 等推理引擎可優化這些模型在可用硬體上的處理與服務方式。
社群觀察
社群對這套「Frankenstein」組裝方案表示熱情，欣賞這種在預算內運行大型模型的實用方法。部分使用者要求提供具體的效能指標，如預填（prefill）和解碼（decode）速度，而其他人則指出，CMP 170HX 卡目前的市場價格可能使總組裝成本超過 30,000 美元。
