公開評測集的任務設計與品質保證
CWE-bench v2 延續前代設定，提供給 AI 代理一個真實開原始碼庫的檢出版本與簡短指令，目標是在不破壞現有功能的前提下找出並修復安全弱點。評分過程完全程式化，確保結果具有決定性且可被任何人免費重現。
為了確保評測的嚴謹性，每個任務都經過人工審查，並由 LLM 評審小組協助校準以符合難度與公平性標準。團隊確認了多項關鍵指標，包括指令是否讀起來像真實開發情境而非測試設定、所有評分行為是否能從指令推導出來、驗證器是否檢查正確行為而非特定修復結構，以及原始功能在修復後是否仍能運作。
此外，系統也驗證了起始程式碼會失敗而參考修復會通過，並確認驗證器不會讓模型透過記憶已知的上游補丁來作弊。這 100 個任務涵蓋了 91 種不同的 CWE，橫跨多種弱點類別，旨在測試模型對潛在攻擊者可能利用的多種弱點表面的理解能力。
模型表現與成本效益分析
在已評估的 11 個模型中，Gemini 4 Argon 以 pass@1 67.8% 和 pass@4 81.0% 領先，緊隨其後的是 Claude Opus 5.5（pass@1 67.3%，pass@4 78.0%）。數據顯示有 95 個任務至少被一個模型解決，證明任務本身是可解的，但領先模型在每次嘗試中仍有 19% 的失敗率，顯示長尾問題依然嚴峻。
關於成本效益，DeepSeek V4.1 Flash、Claude Opus 5.5 和 Gemini 4 Argon 構成了帕累托前沿。DeepSeek V4.1 Flash 以每次執行 0.04 美元的成本達到 pass@1 57.0%；Claude Opus 5.5 花費 1.83 美元可提升約十個百分點；而 Gemini 4 Argon 則需花費 3.92 美元才能取得最高分。
評測結果追蹤分為兩個管道：開放權重模型的成績單位於 Hugging Face 上的 CWE-bench 資料集頁面，實驗室與社群可透過提交 PR 來更新結果；包含僅提供 API 存取模型（如 Gemini、Claude 和 GPT）的完整比較，則位於獨立的 CWE-bench Leaderboard Space。
執行方式與訓練應用
每個任務都是一個自包含的 Harbor 任務，包含 Docker 化環境、指令和決定性驗證器。資料集附帶 registry.json，使得 Harbor 可以直接從 Hugging Face 儲存庫執行整個基準測試，無需使用者自行複製程式碼。
使用者需先在資料集頁面接受存取條件，並使用 hf auth login 將 HF token 加入 git 憑證管理器以進行身份驗證。執行時可使用 -k 4 參數對每個任務運行 4 次嘗試，報告的分數為所有 400 次試驗的平均獎勵。
這些任務也被標記為 rl-environment（強化學習環境），意味著相同的環境和驗證器不僅可用於評估模型，還可用於訓練防禦型代理的獎勵信號。
