一位用戶報告稱，在雙 RTX GPU（3090 和 3060）上運行 Qwen3.8-27B Q6 量化模型時，推理速度穩定在每秒 60 至 63 個 token。該測試使用 llama.cpp 框架搭配動態 GGUF 量化，在連續 20 小時的測試中保持穩定速度。這項表現突顯了該模型在消費級硬體上進行代理式編碼任務時的效率，證明了大型語言模型可以在多 GPU 消費級組態上高效運行，降低了本地 AI 部署的門檻。它也驗證了 Qwen3.8 在無需昂貴企業級硬體的情況下，進行代理式編碼工作流的實用性。
事件背景
代理式編碼是指利用 AI 代理自主執行程式碼生成和除錯等多步驟軟體開發任務。Qwen3.8-27B 是一個針對推理優化的大型語言模型，而 Q6 量化則在保留準確性的同時減少了其記憶體佔用量。多 GPU 推理允許將模型層分散到多張顯示卡上，以處理超過單張 GPU VRAM 容量的模型。
社群觀察
社群表現出強烈的熱情，其中一位用戶幽默地表示「Qwen 是愛，Qwen 是生命」。其他人則討論了執行環境名稱和聊天模板等技術細節，並指出即使是低預設的推理效能也經常超越之前的 Qwen 版本。
