IBM Research 發布 ALTK-Evolve，一種透過「學習記憶」提升 AI 代理效能的方法。該方法利用 GPT-4.1（一款較舊的非推理模型）作為基礎代理，通過分析訓練任務的軌跡並提煉出簡短的行為規則（如驗證客戶、確認交易、處理退貨），將這些規則附加到系統提示中，從而無需更新模型權重或進行人工標註即可顯著提升效能。在 τ²-bench 零售領域測試中，該方法使 GPT-4.1 代理的 Pass^4 指標達到 67.5%，超越了排行榜上所有其他零售條目，包括經過微調的 RAFT-30B-A3B 模型（領先 6.1 個百分點）。
ALTK-Evolve 的核心機制是自動從代理在訓練任務中的成功與失敗經驗中提煉指導原則。這些指導原則以 Markdown 列表形式附加在領域政策之後，指導代理如何嚴格遵循政策、執行工具操作及處理客戶請求。研究比較了三種配置：無指導原則（baseline）、僅保留高支持度指導原則（sup3，即從至少 3 個不同訓練任務中提取的規則）以及保留所有合併後的指導原則（lossless）。結果顯示，在零售領域，使用完整 lossless 集（292 條規則）能帶來最大的準確率和可靠性提升；而在航空領域，較小的 sup3 核心（14 條規則）在可靠性指標 Pass^4 上表現更佳。
值得注意的是，效能的提升並非來自更長的對話輪次。數據顯示，使用指導原則後，解決相同任務所需的助理輪次反而略微減少（零售領域平均減少約 0.43 輪），這意味著端到端延遲降低，客戶等待時間縮短。雖然輸入 Token 成本有所增加（零售領域每對話成本從 $0.084 增至 $0.139），但由於指導原則區塊在所有調用中保持一致，可通過 Prompt Caching 大幅抵消此成本。
此外，該方法不僅適用於較弱的模型，對前沿模型同樣有效。在使用 GPT-5.5 作為代理和指南提取模型的航空領域測試中，附加學習到的指導原則使準確率提升 10 個百分點（72.5% 至 82.5%），Pass^4 指標大幅提升 15 個百分點（55.0% 至 70.0%）。這表明在模型周圍「學習指南」可以增強代理能力，即使從較強的基礎開始也是如此。ALTK-Evolve 展示了無需權重更新、僅通過提示級記憶即可讓代理達到或超越前沿公司水平的潛力。
尚待確認：航空領域中，使用 GPT-5.5 提取的指導原則最高支持度僅為 2，因此高支持度核心定義調整為 sup2 而非 sup3。
尚待確認：排行榜比較基於完整基礎分割（train ∪ test），與僅針對保留測試集的數據不同，兩者數值不可直接混用。
事件背景
τ²-bench（由 Sierra 開發）是一個評估 AI 代理在真實約束下處理客服對話能力的基準測試。每個任務將代理與一個具有特定目標的 LLM 模擬客戶配對，並提供領域工具（如查詢訂單、退款、改簽機票）及必須遵循的書面政策文檔。代理需引導出正確細節、嚴格遵守政策並執行正確的（通常不可逆轉的）操作；只有當最終數據庫狀態與預期結果匹配時，任務才被視為解決，採用嚴格的二元獎勵機制。該基準包含零售和航空兩個客服領域。
ALTK-Evolve 基於 IBM Research 之前的工作，最初在編程代理中驗證了這種通過提示級指導原則提升效能的方法，現擴展至需要遵循領域政策、理解客戶請求並執行正確工具操作的客服場景。
