一位 Reddit 用戶分享了其建置本地大型語言模型（LLM）的經驗，指出社群建議使其陷入硬體選擇的迷思，影響了預算與睡眠。此討論聚焦於舊款 DDR3 CPU 伺服器是否比現代 GPU 更具成本效益，特別是針對每秒約 15 個 token 的推理任務需求。評論者提出，使用 2014 至 2018 年間製造、配備充足 DDR3 記憶體的双路伺服器，其記憶體頻寬可與較新的消費級 GPU 相當，能以可接受的速度運行 Qwen 3.8 Flash 等模型。此次討論突顯了 AI 硬體折舊的經濟挑戰，為尋求優化本地 AI 基礎設施預算的愛好者提供了具體建議。

事件背景

本地 LLM 推理是指在個人電腦或內部伺服器上運行大型語言模型，而非依賴雲端服務。雖然 GPU 因其平行處理能力而傳統上備受青睞，但隨著 GGUF 等量化格式的進步，模型能夠在系統記憶體中高效運行，使得純 CPU 推理變得更加實用。

社群觀察

社群意見呈現兩極化：一方推崇便宜且高頻寬的舊款 CPU 方案；另一方則傾向於購買現代 GPU，儘管成本較高，但他們認為 AI 硬體價值快速折舊是影響購買決策的關鍵因素。