畢馬威（KPMG）的一份報告顯示，近半數的高管因營運成本上升而縮減了 AI 智能體的部署規模。這一趨勢突顯了初期 AI 熱情與企業 AI 實施實際財務可持續性之間日益增長的落差。 這一轉變標誌著企業 AI 市場走向成熟，從受炒作驅動的採用轉向注重成本的優化。它驗證了業界向本地推理和本地部署解決方案轉型的趨勢，以緩解雲端 API 使用所帶來的高昂 Token 成本。 成本壓力主要來自於「Token 浪費」，從業者的觀察指出，AI 智能體常因無關上下文或陷入迴圈而消耗過多 Token。本地推理提供了一個可行的替代方案，不僅能提供更好的隱私保護，還能讓用戶僅支付電費而非按 Token 計費。

事件背景

AI 智能體是利用大型語言模型（LLM）透過串聯多個步驟來執行複雜任務的自主軟體程式。雖然雲端 LLM API 提供了強大的功能，但它們根據 Token 使用量收費，這在多智能體工作流程中可能會迅速累積。本地推理則是在本地硬體上運行這些模型，將成本從可變的 API 費用轉為固定的硬體和電費支出。

社群觀察

社群成員普遍認同高管的看法，並分享個人經驗，指出高達 80% 的雲端 Token 浪費在錯誤的工作或迴圈中。用戶強調，本地推理不僅將成本降低至僅需支付電費，還透過將數據保留在本機來解決隱私問題。