決策模型的判斷失誤與簡單腳本的勝利
在測試中,被歸類為決策模型的AI系統展現出令人意外的行為模式。當這些模型持有德州撲克中最強的起手牌「口袋A」(Pocket Aces)時,它們選擇了棄牌(Fold)。
這種判斷失誤導致決策模型輸給了一個僅由30行程式碼組成的簡單 Equity 腳本。
廉價推理LLM的成本效益與性能對比
測試結果指出,被標記為「廉價」的推理型大型語言模型(Reasoning LLMs)在遊戲表現上,與Opus和Sol等頂級前沿模型相當。
關鍵差異在於成本結構。這些廉價模型的運算成本每千局低於一美元,卻能達到與Opus和Sol等頂級模型相近的遊戲表現。
實驗設計與公平性控制
為了確保比較結果的公正性,實驗採用嚴格的對戰協議。每一手牌都會進行兩次對戰,並在第二次對戰時交換玩家的座位順序。
這種雙重對戰並交換座位的設計,旨在消除德州撲克中因位置(Position)帶來的策略優勢或劣勢,從而更準確地評估各AI模型本身的決策能力,而非其受遊戲規則位置影響的程度。測試總共涵蓋了17種不同的AI系統,包括前沿模型、低成本模型、本地部署模型以及Jev系列模型。



