StarSkirmish Bench v0.2 是一項評估大型語言模型（LLM）在一小時內編寫《星際爭霸：母巢之戰》（StarCraft: Brood War）Protoss 機器人的基準測試。測試結果顯示，OpenAI 的 GPT-6 Astra 得分最高，明顯領先第二名 GPT-6.1 Sol。Google 的 Gemini 4 Argon、Anthropic 的 Claude Opus 5.5 和 Claude Fable 5.1 得分緊隨其後，三者得分均在 37 至 39 之間，處於功能上的平手狀態。Meta 的新旗艦模型 Muse Wonder Full 排名第 7。

該基準測試的評分標準為模型在對戰固定人類編寫機器人清單時的平均勝率（0-100）。值得注意的是，目前最強的 LLM 機器人仍遠遜於頂尖人類編寫的機器人。即使是表現最好的 GPT-6 Astra，在對戰 Stardust、PurpleWave 和 BananaBrain 這三個頂尖人類機器人時，勝率僅為 7%。這表明在長期推理和代理編碼任務上，LLM 仍有顯著差距，且測試結果未顯示出飽和跡象。

在成本效益方面，GPT-6.1 Sol 提供了獨特的價值，它是唯一位於最具吸引力象限的模型，其得分排名第二，但每次運行的 API 成本僅為 GPT-6 Astra 的十分之一左右。此外，測試發現模型表現的最強預測因子是其在一小時內與清單中最強的 7 個機器人進行練習遊戲的次數。GPT-6 Astra、GPT-6.1 Sol 和 Gemini 4 Argon 會在早期就開始與這些強敵練習，而 Muse Wonder Full、Claude Haiku 5.5 和 GPT-6 Luna 則很少或從未這樣做。Claude Fable 5.1 是一個例外，它幾乎只與較弱的機器人練習，但仍獲得了 37 分。

執行間變異性也是測試的一個發現。Gemini 4 Argon 的變異性遠高於其他實驗室旗艦模型，其最佳和最差運行之間的差距達 18 分，相比之下 GPT-6 Astra 為 9 分，Claude Opus 5.5 為 8 分。

v0.2 版本相比 v0.1 有重大更新：改用各實驗室自家的 CLI 工具（如 Claude Code, Codex, Antigravity CLI, Muse Code）而非第三方中立工具，並使用各模型支持的最高推理設定（Gemini 4 Argon 使用 'high'，其他使用 'max'）。評分方式從 Elo 評分改為純勝率，以便更直接地比較不同世代的模型。測試還顯示，StarSkirmish 與廣泛報導的評估指標（如 Artificial Analysis Intelligence Index）相關性極低（ρ 0.26），但與 Vals IOI 和 WeirdML 等較少被針對性優化的編碼基準測試保持相關性。

事件背景

StarSkirmish Bench 是一個讓 LLM 為《星際爭霸：母巢之戰》編寫機器人的基準測試。每個 LLM 有一小時的時間使用 C++ 編寫一個 Protoss 機器人，該機器人隨後會與其他 LLM 編寫的機器人以及既有人類編寫的機器人進行評估。該測試旨在檢驗 LLM 的長期推理和代理編碼能力，因為模型必須從練習遊戲中學習並改進其機器人。

技術細節方面，LLM 從一個僅能採礦的骨架機器人開始，並擁有三個演示機器人的源代碼以及兩個標準機器人庫：FAP（戰鬥模擬器）和 BWEM（地圖分析器）。LLM 可以使用編譯、進行練習遊戲以及閱讀遊戲摘要、記錄和機器人日誌的工具。練習對手分為 D、C、B、A 和 S 級別。比賽在 BWAPI 4.4.0 和 OpenBW 上進行，地圖為 Heartbreak Ridge、Benzene 和 Destination。如果遊戲達到 60 分鐘上限，則根據 BASIL 天梯規則，以更高的擊殺數和拆毀數決定勝負。

v0.2 版本的測試環境使用各實驗室自家的 CLI 工具，並禁用網路搜尋和抓取工具，模型無其他網路訪問權限。所有 CLI 在約 250k tokens 時會壓縮上下文。

社群觀察

社群討論中，用戶 GodelNumbering 指出，該基準測試的排名（GPT-6 Astra > GPT-6.1 Sol > Gemini 4 Argon > Claude Opus 5.5 > Claude Fable 5.1 > Claude Sonnet 5.5）與其朋友開發的 9x9 圍棋基準測試（GoBench）的排名完全一致，儘管這是兩個不同的問題。

用戶 cgearhart 詢問關於 AI 編寫機器人的有趣之處，質疑它們是否只是因時間限制而成為人類機器人的劣質版本，或者是否暗示了模型從人類機器人代碼中學習的跡象。

用戶 t1amat 分享了個人經驗，表示在另一個項目（ModernUO 伺服器機器人）中，發現 Claude Opus 5.5 在理解和構建方面明顯優於 GPT-6.1 Sol 和 GPT-6 Astra，後兩者在一週內進展甚微，而 Opus 5.5 在一夜之間重建了所有內容。

用戶 BeaverGoose 建議應將測試與 Pluto（一個能輕鬆擊敗最佳 Brood War 玩家的神經網絡機器人）進行基準比較。

用戶 iugtmkbdfil834 對該基準測試的有效性表示懷疑，認為它評估的內容不明確，因為有多個因素（如代碼生成速度、邏輯分析、對遊戲平台和 C++ 使用的理解、戰術策略等）使評估變得複雜。