使用者在由四張消費級 RTX 3060 12GB 顯示卡組成的客製化硬體上，成功以 Q4_K_XL 量化格式運行 DeepSeek V4 Flash 模型。該配置在提示詞處理階段達到了每秒約 100 個 token 的推理速度。

此配置依賴 PCIe 介面的多 GPU 推理而非 NVLink，並利用 llama.cpp 或 vLLM 等工具將工作負載分散至四張顯示卡。該模型採用 Q4_K_XL 量化格式，屬於 DeepSeek Flash 系列中針對路由專家（routed experts）優化的版本。

這項成果展示了透過多 GPU 平行處理，大型語言模型可以以具成本效益的方式部署在平價的消費級硬體上。它突顯了對於無法負擔 H100 或 RTX 4090 等高階資料中心顯示卡的愛好者而言，本地 AI 推理的可行性日益提高。

事件背景

DeepSeek V4 Flash 是一款採用混合專家（MoE）架構的大型語言模型，其中每個 token 僅激活部分參數。Q4_K_XL 等量化技術透過降低精度來減少模型的記憶體佔用，使更大的模型能夠放入消費級顯存中。多 GPU 推理將模型層或張量分割到多張顯示卡上，以克服單一顯存的限制。

社群觀察

社群反應熱烈，讚譽該組裝為「硬核」，並注意到顯示卡在開放機殼中散落的非傳統排列方式。使用者對硬體的低廉價格感到興奮，並建議建立一個專門介紹此類創意本地 AI 組裝的 subreddit。