微軟與 Hugging Face 聯合發布了名為 ThinkingBox 的 AI 代理基準測試，該測試已透過 Hugging Face 開放使用。ThinkingBox 的核心創新在於不再僅評估 AI 代理生成的文字回應或工具調用軌跡，而是直接驗證代理執行後在後端資料庫留下的最終狀態與副作用。測試涵蓋 507 個有狀態的業務工作流程，每個任務針對不同的大型語言模型（LLM）重複執行 20 次，以評估其一致性與可靠性。
測試結果揭示了當前代理評估方法的嚴重缺陷。在一項涵蓋 12 個 LLM 模型、121,680 次有效試次的消融實驗中，79,853 次嘗試未能通過可執行檢查。值得注意的是，其中 67.24% 的失敗案例表面上看似成功：代理正常終止、調用了改變狀態的工具且未報告最終工具錯誤。然而，可執行檢查在整體失敗案例中發現，77.61% 的案例存在錯誤的欄位值，43.30% 產生了意外的額外副作用，25.36% 缺少必要的副作用。原文明確指出這些狀態檢查的發現是重疊的（overlap），並非互斥分類。這表明「軌跡是主張，資料庫狀態才是證據」。
ThinkingBox 報告三個關鍵指標：pass@1（單次嘗試成功率）、pass@20（20 次嘗試中至少成功一次的任務比例，衡量廣度）以及 Observed 20/20（所有 20 次嘗試均成功的任務數，衡量一致性）。數據顯示，雖然 Claude Opus 5.5 在 pass@1 總體得分上以 67.16% 領先，但其一致性表現僅有 47.53% 的任務能通過全部 20 次嘗試。相比之下，開源模型 Kimi-K3 擁有最廣的覆蓋率，在 93.89% 的任務中至少成功一次，但其一致性極低，僅有 13.41% 的任務能通過全部 20 次嘗試。Claude Opus 5 則呈現相反情況，雖然 pass@20 較低（79.09%），但有 47.53% 的任務在所有嘗試中均成功。值得注意的是，Claude Opus 5.5 雖然在 pass@1 上略高於 Claude Opus 5，但在「所有 20 次嘗試均成功」的任務數量上與 Opus 5 完全相同（均為 241 個任務），顯示頭部準確率的微小提升並未帶來額外的可靠性。
此外，測試分析發現約 79.9% 的失敗被標記為「工具使用」（Tool usage）相關特徵，10.3% 為「錯誤的狀態更新」，7.0% 為「未完整解決用戶問題」，2.9% 為「未執行改變狀態的動作」。原文強調，這些數據是各模型份額和可觀察標籤的未加權平均，並非唯一的因果解釋。原文指出實際模式顯示代理常在從工具錯誤、失敗的前置條件或空查詢中恢復時失敗，這首先是一個重試和錯誤恢復的問題，但並未完全排除模型認知問題，且作者聲明尚未測量相關改進措施在此基準測試上的效果。
研究還計算了「每個成功任務嘗試的成本」與「每個可靠任務的成本」。這些成本數據是基於 OpenRouter 的未打折列表價格計算的比較性效率指數，並非實際雲端帳單或單一生產請求的價格。結果顯示，沒有任何一個模型在成本和一致性上同時主導其他模型，每增加一個可靠任務的成本都會遞增。例如，GPT-5.4 在每個可靠任務上的估計成本最低（$6.80），但其僅有 128 個任務通過 20/20 測試；GPT-6 Astra 有 231 個任務通過，估計成本為 $7.45；Claude Opus 5.5 有 241 個任務通過，估計成本為 $7.80。原文強調，最便宜的單次成功方式並不等同於最便宜的可靠執行方式。
事件背景
傳統的 AI 代理基準測試通常依賴軌跡評估，僅檢查代理是否生成了有效的工具調用或最終回應，這被視為一種代理指標。ThinkingBox 引入了更嚴格的標準，透過隔離的 MCP 工具會話來驗證執行後後端資料庫的實際狀態。該測試強調區分模型執行任務一次的能力（pass@1）與持續可靠執行任務的能力（observed 20/20），並指出對於涉及真實記錄的企業級應用，pass@20 並非正確的評估指標，因為它無法反映模型是否能每次都正確執行。ThinkingBox 環境由 Microsoft Copilot Studio 團隊與 Toloka 合作開發，並與匹茲堡大學、西北大學、哥倫比亞大學和加州大學爾灣分校的實習生合作。
