一位用戶展示了利用五塊二手 AMD BC-250 礦機主機板組成的低成本方案,成功以每秒 40 詞元的速度運行 Qwen3-Coder-Next 模型。該配置暴露了約 71GB 的顯存,即使在 10 萬詞元的上下文窗口下也能保持性能。 這突顯了將專用礦機硬體重新用於本地大型語言模型推理的可行性,提供了比消費級顯示卡更經濟的選擇。它證明了像 Qwen3-Coder-Next 這樣的混合專家模型在擁有足夠顯存的適度硬體上也能高效運行。 該設置通過標準 1GB 乙太網路運行,並使用 Asrock 12 單元機箱,其中一塊主機板作為主控。雖然功耗效率較低,但總成本低於 800 美元,且用戶計劃測試 Flash Attention 3 優化以進一步提升速度。

事件背景

AMD BC-250 是一塊原本為加密貨幣挖掘設計的專用主機板,配備整合式 APU 和大量顯存。Qwen3-Coder-Next 是一個擁有 800 億參數的混合專家模型,在推理過程中僅激活 30 億參數,因此適合本地部署。Flash Attention 3 是一種優化注意力計算的演算法,旨在減少記憶體使用量並提高速度。

社群觀察

社群成員對該視覺化設置和令人印象深刻的上下文窗口能力表示熱情。一些用戶提到了 BC-250 主機板的歷史價格趨勢,而其他人則對選擇 Qwen3-Coder-Next 模型提出了疑問。