Anthropic 推出了「概念推理指數」（CRI），這是一項透過匯總多種基準測試來評估 AI 推理能力的新指標。該指數已於 conceptualreasoning.ai 上線，使用者可在此查看詳細的方法論，並隨著新模型的發布持續追蹤更新。CRI 將多個基準測試匯總為單一分數，其方法論和原始數據均可在其專屬網站上找到。雖然 Anthropic 的模型在此指數中排名靠前，但該指標專門針對概念推理能力，而非僅限於編碼或一般聊天功能。

事件背景

隨著大型語言模型（LLM）從單純的文字生成轉向複雜的推理與工具使用，評估這些模型變得日益複雜。傳統的基準測試通常專注於編碼或數學等特定領域，導致在評估一般概念理解能力上存在缺口。概念推理指數旨在透過提供模型處理抽象概念與邏輯關係能力的整體視角，來填補這一空白。

社群觀察

社群反應褒貶不一，部分用戶讚賞 Anthropic 的模型在非編碼任務中的穩定性，而另一些人則指出該指標對 Anthropic 自身生態系統存在偏見。批評者還提到，由於所使用的基準測試具有專屬性質，因此高排名也在意料之中。