Anthropic 發布 Claude Fable 5.1,該模型在新推出的 Terminal-Bench-Science 基準測試中獲得 52.6% 的成績,大幅領先 GPT-5.6 Sol 等競爭對手。Fable 5.1 在 Terminal-Bench-Science 0.1 中獲得 52.6% 的分數,高於 Fable 5 的 24.7% 和 GPT-5.6 Sol 的 22.4%。
此外,Simon Willison 的創意測試顯示,該模型在生成 SVG 圖像時,於低和中級別努力層級會跳過明確的推理步驟。該模型具備五個推理層級,但 Willison 發現對於鸕鶿 SVG 提示詞,低和中級別設定並未產生摘要推理令牌。
此次發布突顯了 Anthropic 在科學研究和代理程式編碼任務中的強大地位,而鸕鶿測試則提供了關於推理努力層級如何影響實際應用中的輸出品質與成本效率的細緻觀點。
事件背景
Claude Fable 5.1 是 Anthropic Claude Fable 5 模型的更新版本,旨在提升長期代理程式編碼和多步驟研究能力。Terminal-Bench-Science 基準測試評估 AI 代理程式在終端環境中執行複雜科學任務的能力。「騎自行車的鸕鶿」測試是由 Simon Willison 創立的非正式基準測試,用於視覺化評估大型語言模型的程式碼生成與推理一致性。



