一名用戶在配備 GTX 1070 顯示卡的舊電腦上，成功以每秒約 30 詞元的速度運行稠密型 Qwen3.8-27B 模型。此配置證明較舊的消費級硬體仍能處理現代 270 億參數模型，用於本地程式碼分析等 AI 任務。此案例突顯了預算型家用伺服器在本地 LLM 推理上的可行性，顯示用戶無需昂貴的新硬體即可實驗大型模型。它為家庭實驗室社群提供了關於具成本效益 AI 部署的實用基準。透過重新塗抹散熱膏修復了 GTX 1070，使稠密模型能高效運行，而僅靠 CPU 推理時稠密模型的速率低於每秒 3 詞元。該系統使用 32 GB DDR3 RAM，有助於為 AI 代理快取專案檔案。

事件背景

Qwen3.8-27B 是一個擁有 270 億參數的稠密大型語言模型，這意味著在推理過程中所有參數都會被激活，與混合專家（MoE）模型相比需要更多的顯存。像這樣的稠密模型通常需要 GPU 上的高頻寬記憶體，使得 GTX 1070 等舊款顯示卡成為具有挑戰性但可行的優化目標。

社群觀察

社群成員讚賞該配置的性價比，有人指出透過修改礦卡獲得 30GB 顯存僅需 250 美元，性能極佳。其他人則討論了 RAM 快取策略，確認將檔案快保留在 RAM 中有利於本地 AI 代理。