一位開發者為了測試大型語言模型（LLM）在 FPGA 上的推理能力，利用廉價的二手 FPGA 硬體實現了 Qwen3.5 和 Qwen3.8 模型的 INT4 量化推理。該專案最初使用 SQRL FK33 開發板（約 280 美元，配備 8GB HBM2 記憶體），成功在 75 MHz 頻率下以每秒 2 個 token 的速度運行 Qwen3.5-9B 模型。隨後，開發者購入了兩張 FK33 晶片互連的 SQRL Jungle Cat 二手礦機 FPGA（約 375 美元），以嘗試提升預填充（prefill）和生成性能。
在雙 FK33 配置下，Qwen3.5-9B INT4 模型的預填充速度約為每秒 5.5 至 6 個 token，生成速度在短上下文下約為每秒 3.2 個 token，長上下文下降至每秒 2.4 個 token。開發者還基於測量的 9B 模型效能檔案，估算了 Qwen3.8-27B INT4 模型在不同配置下的潛在表現：在單張 Jungle Cat（雙 VU35P 晶片）上，若進行 RTL 優化並提升至 200 MHz，短上下文生成速度可達每秒 8 至 15 個 token；若使用四張 VU35P 晶片進行張量並行處理，短上下文速度可達每秒 25 個 token。然而，受限於記憶體容量，雙晶片配置僅能支援約 45k 的上下文長度，完整 262k 上下文需四晶片配置。
此外，開發者還利用 Opus 5.5 估算了若將該 RTL 設計轉為 ASIC（基於 TSMC 2023 N3 製程與 HBM3 記憶體）的理論效能，預計在 2 GHz 頻率下，27B 模型短上下文速度可達每秒 294 個 token，功耗約 125-340 瓦。專案程式碼已開源於 GitHub。
事件背景
FPGA（現場可程式化邏輯閘陣列）是一種可重新配置硬體，開發者透過 VHDL 等硬體描述語言實現 LLM 推理邏輯。SQRL FK33 和 Jungle Cat 原本是為加密貨幣挖礦設計的 FPGA 開發板，因價格低廉而被用於 AI 實驗。INT4 量化技術將模型權重精度降至 4 位元整數，以減少記憶體佔用。開發者提到，選擇 Qwen3.8 是因為其在 9B-27B 規模下展現了令人印象深刻的性能，而之前的 Qwen3.6 未能提供足夠的動力。專案中使用了 Claude Opus 4.8/5.5 和 Kimi K3 等 AI 輔助工具來協助實現架構和 RTL 設計。
社群觀察
Reddit 社群對該專案給予高度評價，用戶 Redditiskindasilly 稱其為「瘋狂的工作」，認為這類項目推動了業餘愛好者的技術邊界。用戶 davernow 表示「非常酷」。用戶 geldonyetich 則幽默地評論開發者在地毯上進行硬體開發的勇氣，指出地毯是靜電的來源。用戶 lolzinventor 讚賞該開發板，並建議購買一塊來測試其他 AI 模型（如 Qwen3.8-27B）在 VHDL 上的表現。
