Quesma 發布的獨立基準測試顯示，RTK 宣稱的 Token 節省並未轉化為顯著的實際成本降低，部分任務的節省率甚至低於 1% 或出現負增長。這與 RTK 宣稱在各種 AI 編碼工具中能節省 60-90% Token 的說法相矛盾。

研究發現，每次嘗試的平均成本變化極小，Claude/Fable 僅減少約 5%，而 DeepSeek 的成本反而增加了約 5%。此外，RTK 的 Token 計數機制被批評會誤解 'tail -5' 等命令，宣稱節省了 10 萬 Token，這不僅破壞了沙箱隔離，還偶爾導致自動模式拒絕執行。

這項發現挑戰了 RTK 等預處理技巧在降低大型語言模型推理成本方面的有效性，表明廠商的指標可能在實際貨幣節省方面具有誤導性。它突顯了建立標準化獨立基準測試以評估 AI 編碼工具效率的重要性。

事件背景

RTK（Rust Token Killer）是一款工具，它會攔截 AI 編碼代理發出的 Shell 命令，並在輸出進入大型語言模型上下文之前進行壓縮，透過過濾和去重來減少 Token 數量。大型語言模型的費用通常根據處理的 Token 數量計算，因此減少 Token 是降低支出的主要策略。然而，如果壓縮引入錯誤或需要額外的處理步驟，Token 的減少並不一定等同於成本的降低。

社群觀察

社群成員普遍認為 RTK 和類似工具往往是「噱頭」，並舉例說明 'tail -5' 等簡單命令輸出會導致 Token 節省數據虛高。部分用戶傾向於使用本地嵌入模型對程式碼庫進行索引，以獲得更可靠的節省效果；另一些人則指出，如果這些優化真正有效，上游 AI 實驗室應該早就自行實現了。