一位 Reddit 使用者以約 300 美元的預算,組建了由兩塊二手 AMD BC-250 礦機板構成的本地 AI 系統。該系統透過 1Gb 乙太網路連接,並使用 llama.cpp 搭配 Vulkan 與 RPC 技術,運行 Qwen3.6-35B-A3B 模型。

儘管兩塊板子的合併 GPU 記憶體僅約 27GB,該配置在 64k 上下文視窗下仍達到了每秒 60 個詞元(tok/s)的推理速度。使用者對此性價比表現感到滿意,並計畫未來測試六塊板子運行 Qwen 3.8 Flash 模型,以進一步探索效能極限。

事件背景

AMD BC-250 是專為加密貨幣礦機設計的硬體,內建 AMD 處理器與 GPU,現已被重新用於一般運算任務。llama.cpp 是一個廣泛使用的 C++ 函式庫,支援在本地運行大型語言模型,並具備 RPC(遠端程序呼叫)功能,允許在多個裝置間分散推理負載。Qwen 35B 指擁有約 350 億參數的大型語言模型,通常需要較高的記憶體與運算資源才能高效運行。

社群觀察

社群成員對這套獨特的硬體組裝表示熱情。部分使用者對擴展至六塊板子的計畫表示期待,認為效能將相當不錯。另有使用者指出,透過 1Gb 乙太網路的 RPC 延遲通常會最先影響提示詞(prompt)的處理。此外,也有成員鼓勵創作者嘗試運行 Qwen 3.8 27B 模型,以觀察其詞元速度表現。