OpenAI 在其服務中引入廣告，促使本地 LLM 社群強調在本地運行模型以避免數據追蹤和廣告個人化的好處。這一轉變強化了本地推理在雲端供應商日益重視用戶數據變現時的價值主張。

此發展標誌著產業的重大轉變，雲端 AI 正轉向廣告支援模式，驗證了注重隱私用戶的「本地運行」運動。這也影響了開發者和企業在便利性與雲端 API 之間，以及數據主權和成本控制與本地模型之間的選擇。

社群討論突出了 OpenAI 反覆無常的隱私政策，指出在引入個人化廣告的同時宣稱數據隱私的諷刺意味。用戶還觀察到，關於通用人工智慧（AGI）的熱潮已降溫，使得成本和隱私等實際問題變得更加突出。

事件背景

在本地運行大型語言模型（LLM）涉及下載模型權重並在本地硬體（如個人電腦或伺服器）上執行推理，而不是將提示發送到雲端 API。這種方法提供了零每 token 成本、無速率限制以及增強隱私等好處，因為數據不會離開設備。相比之下，雲端 API 提供了訪問最新模型的途徑，但通常會追蹤用戶活動以用於廣告或分析目的。

社群觀察

社群對本地 LLM 的整體情緒相當正面，用戶表達了對未能更早切換的遺憾，並指出 OpenAI 隱私聲明的諷刺意味。評論強調了 AGI 熱潮的消退，並讚揚本地推理相對於雲端服務的成本效益和隱私優勢。