一位使用者分享了一個為客戶（10人新創團隊）打造的硬體建置方案，總成本為1.8萬美元。該系統規格包括Threadripper 9970x CPU、128GB DDR5 ECC 5600記憶體，以及4張AMD Radeon R9700 AI Pro 32GB GPU（總VRAM達128GB）。電源供應器為1600W，但GPU經過降壓處理，每張功耗控制在210W以下。
該系統使用Radiance推理引擎的分支版本來服務Qwen 3.8 Next flash/27b和DSV4 Flash模型。在16個並發會話的測試結果中： 1. 服務Qwen 3.8 27b MXFP4模型時，達到6.3-6.8k的聚合預填充（prefill）tokens/s，以及900-80 tokens/s的聚合解碼（decode）速度（範圍涵蓋每個用戶4k至128k上下文）。 2. 服務Qwen 3.8 Next flash int4fp8模型時，在48k上下文下達到6,880 tok/s的聚合預填充/解碼速度（每用戶538.5 tok/s）；在128k上下文下達到3,050 tok/s的聚合預填充/解碼速度（每用戶365 tok/s）。 所有測試均使用BF16 KV cache。
社群觀察
社群討論集中在本地模型相對於雲端API的成本效益與趨勢。用戶MurmurRunner認為這顯示了OpenAI和Anthropic的危機，並指出這是他見過的第五個新創使用本地模型的案例。用戶sleight42計算出對於16個用戶而言，該系統約在5.75年內可收回成本，並詢問隱私是否為主要考量。用戶mohelgamal則諷刺地預測，幾年後99%的新創將失敗，這些硬體最終會在eBay上出售。用戶PhilipKThicc詢問了具體價格。
