過去 30 天內，ARC-AGI-3 在 Kaggle 排行榜上的最高分從 7% 上升至 56%。發文者指出，這一進展是由 Kaggle 允許使用的中小型本地模型在特定評估框架（harness）中運行所推動的，這些模型現在在該基準測試上的表現已超越平均人類。發文者強調，ARC-AGI 基準測試原本是故意設計來展示人類優越性的，因此這一結果引發了討論。發文者同時註明，附帶的排行榜截圖可能並非最新狀態。

事件背景

ARC-AGI 系列基準測試旨在評估人工智能解決抽象推理任務的能力，傳統上被認為是人類表現遠超 AI 的領域。評估框架（harness）是指包裹在模型周圍的基礎設施或提示工程結構，用於格式化輸入、引導推理過程及評分，其設計對基準測試結果有顯著影響。近期有研究（如 Stanford 相關論文）指出，即使沒有使用私有數據，LLM 也容易通過特定方法操縱排行榜分數。

社群觀察

社群討論主要集中在對這一成績真實意義的質疑。用戶 Big-Coyote-1785 認為，這可能是通過特定的框架設計（如引導模型學習並重複應用規則）或針對性訓練實現的，屬於「刷榜」（benchmaxxing）行為，而非模型底層能力或「模型文化」的根本改變。用戶 CanvasFanatic 提醒，這並不意味著這些小型模型達到了通用人工智能（AGI）。用戶 Cautious-Pilot 詢問這些模型是否經過後訓練（post-training）以及相關工作是否開源。用戶 No-Till-2059 引用了一篇關於排行榜容易被操縱的研究，對排行榜的可信度表示懷疑。用戶 ApartmentEither4838 則詢問在 ARC-AGI 2 上的表現，並認為小型本地模型在該測試上也能取得好成績。