Reddit 用戶發布了一份視覺化指南，針對本地大型語言模型（LLM）社群比較顯示卡的每 GB 價格與記憶體頻寬。貼文包含社群留言，特別指出 Intel Arc B65 和二手 NVIDIA V100 等具成本效益的選擇。這份指南透過聚焦常成為 LLM 推論速度瓶頸的記憶體頻寬，幫助愛好者做出明智的硬體選擇。它提供了經社群驗證的實用價值觀點，補充了官方規格所缺乏的資訊。資料依賴透過 ChatGPT 收集的預估價格，並包含新機與二手市場價值。社群洞察提供了具體指標，例如 Intel B65 以 900 美元提供 32GB 記憶體，而 V100 SXM2 則以約 200 美元提供 900GB/s 的頻寬。

事件背景

在大型語言模型推論中，記憶體頻寬通常比純運算能力更重要，因為顯示卡必須不斷從 VRAM 中讀取權重。高頻寬能讓處理器更快存取資料，從而降低延遲並提升每秒產生字元數（tokens-per-second）的效能。這份指南著重於這些指標，而非理論上的峰值浮點運算次數。

社群觀察

留言者提到了 Intel Arc B65 和二手 V100 等利基選擇，並指出其優異的價格效能比。其他人則指出，功耗和散熱成本（例如 P100 的耗電量）也應納入總持有成本的計算中。