一位用戶分享了他從單張 RTX 3090 擴展至 20 台 NVIDIA DGX Spark（GB10）集群的本地 AI 基礎設施建設歷程，並指出家庭電路保險絲是早期擴展的主要限制。該用戶最初為了本地運行 LLaMA 33B 和 65B 購買了兩張 3090，後因 DeepSeek 671B 和 Qwen 235B 的需求升級至配備 512GB RAM 的 Threadripper 工作站。隨著代理式編程（Agentic Coding）對速度和上下文長度的要求提高，他組建了由 16 張 3090 組成的集群，但面臨散熱、穩定性及與家用電器同時運行導致保險絲熔斷的問題。

隨後，他轉向使用 4 台 ASUS GB10（DGX Spark），發現其能效比遠優於舊硬件（397B 模型在 400W 下達到 30 t/s，而舊集群需 6kW 才能達到 50-60 t/s）。為了運行 MiMo 2.5 Pro 和 Kimi 2.6 等更先進的模型，他擴展至 8 台 GB10 集群，並在 NVIDIA 論壇發布了相關解決方案。受其影響，他的哥哥也購買了 8 台 GB10。當 Kimi K3（2.8T 參數）發布後，兩兄弟將集群合併為 16 台 GB10 以運行該模型，經過優化將 300k 上下文下的推理速度從 7 t/s 提升至 20 t/s。

目前，他們正在增加另外 4 台 GB10（總計 20 台），以便讓較小的模型（如 GLM 5.3 Flash）全天候運行，同時保留大集群用於運行 GLM 5.3、MiMo 2.6 Pro 或 Kimi K3 等大模型。該用戶強調，他堅持僅使用本地託管模型，並非因為成本，而是基於對本地模型未來的信心，並已為弟弟購買了另外 4 台 GB10。

事件背景

NVIDIA DGX Spark 是一款搭載 GB10 Grace Blackwell 超級晶片的緊湊型 AI 計算機，旨在支持本地開發。運行大型開源權重模型（如 Kimi K3、Qwen 397B）需要大量的記憶體和計算資源，通常依賴多節點集群和高速網絡連接。推理性能受到預填充（prefill）和解碼（decode）階段的影響，且高功率密度帶來的散熱和電力供應是家庭環境部署的關鍵挑戰。

社群觀察

社群用戶對該用戶的硬體投資規模表示驚訝，質疑其財務來源。評論包括詢問「錢從哪裡來」、感嘆其富有程度，以及推測這是否為百萬富翁的業餘愛好，認為僅靠模型應用難以覆蓋硬體和電力成本。