比對方法與樣本範圍

開發者 jakecoolguy 建立名為 whatmodel.sh 的開源 AI 排行榜，旨在比較 AI 實驗室自報基準分數與獨立測試者結果的差異。

研究團隊從公開來源收集了 1,629 筆已發布的基準測試結果，並从中篩選出可進行直接比對的資料。

最終成功匹配出 611 組比較數據，這些數據涉及 180 個不同的模型，涵蓋 103 項不同的基準測試項目。

分數差異統計結果

根據匹配後的數據分析，AI 實驗室自行報告的基準分數平均比獨立測試者測得的分數高出 6.4%。

根據匹配後的數據分析，AI 實驗室自行報告的基準分數平均比獨立測試者高出 6.4%。該比較是針對同一模型在同一測試上的結果進行對比。

資料開放性與查證機制

該專案強調透明度，所有數據集採用 CC BY-SA 4.0 授權，程式碼則以 MIT 授權釋出。

每個模型頁面均記錄了原始來源及其授權資訊，並提供連結供使用者直接查核原始資料。

互動式圖表與完整數據程式碼已發布於 GitHub 及 whatmodel.sh 網站，歡迎社群貢獻與驗證。