作者針對購買與租賃 8 卡 HGX H200 伺服器進行了詳細的財務分析。根據數據，硬體成本中位數約為 37 萬美元，而租賃費率中位數約為每 GPU 小時 4.40 美元（即期價格雖低但較不穩定）。在 100% 利用率下，購買硬體約需 14.4 個月才能達到損益平衡。作者結論指出，只有在兩年內維持超過 60% 的持續利用率，自購硬體才具成本效益。此分析挑戰了「購買 GPU 總是更便宜」的常見假設，並突顯利用率在總擁有成本中的關鍵影響。此外，電力、冷卻、折舊和閒置時間等額外成本也被指出會顯著改變損益平衡點，幫助本地 LLM 團隊在資本支出與營運支出間做出決策。
事件背景
NVIDIA H200 是一款基於 Hopper 架構的高效能 GPU，配備 141GB 的 HBM3e 記憶體，專為大型語言模型和高效能運算工作負載設計。HGX H200 指的是利用 NVLink 實現 GPU 間高速互連的 8 卡伺服器配置，對於高效訓練大型模型至關重要。
社群觀察
社群成員認為，雖然硬體成本分析很有說服力，但利率、電力消耗和噪音等現實因素會顯著影響決策。部分用戶指出，只有具備特定基礎設施優勢或能取得便宜二手硬體的人，自購才具可行性。
