IBM 研究團隊推出了 ALTK-Evolve 框架，利用隱藏馬可夫模型（HMM）大幅降低大型語言模型在推論過程中的記憶體佔用量。該方法不再採用統一的規格大小，而是根據 AI 代理的特定能力來決定最佳記憶體容量。

透過優化記憶體頻寬與延遲，此框架解決了 AI 推論過程中的關鍵瓶頸，對於部署高效能的大型語言模型具有重要價值。開發人員得以透過精確調整記憶體使用量，在現有硬體上部署更大型的模型，而無需進行昂貴的硬體升級。

研究團隊使用開源的 ALTK-Evolve 框架，在 AppWorld 基準測試中評估了八種大型語言模型。結果顯示，代理記憶體的效能是由依賴能力的劑量（dosage）所決定，而非採用均勻分配的方式。

事件背景

隱藏馬可夫模型（HMM）是一種統計模型，用於表示具有機率狀態轉換的系統，常見於序列資料分析。在大型語言模型的背景下，HMM 有助於模擬資料的潛在結構，使系統能夠根據學習到的狀態轉換來推斷模式並優化資源使用。

這項技術對於管理 AI 代理在複雜推理任務期間的可變記憶體需求特別有用，能協助系統更有效地處理動態的資源需求。