Reddit 上的討論指出，Artificial Analysis 的基準測試並非「失效」，而是採用十項評估（多數已發表於 arXiv）的加權總和。爭議焦點在於排名的穩定性以及特定程式碼基準（如 DeepSWE 與 Terminal-Bench）的相關性。 此分析釐清了公開基準與私有基準之間的區別，幫助使用者理解 AI 模型評估指數的建構方式。它解決了社群對排名波動性以及加權方案主觀性的擔憂，對更廣泛的 AI 生態系統具有重要意義。 Artificial Analysis 花費約 13,000 美元獨立基準測試 Fable 5.1 等新模型，確保測試嚴謹。爭議點在於基準測試權重的任意性，例如在編碼任務中僅給予 Terminal-Bench 10% 的權重。
事件背景
Artificial Analysis 智慧指數是生產基準分數的加權平均值，範圍從 0 到 100。它包含已發表論文的公開基準和專注於代理知識工作的私有基準（如 AA-Briefcase）。理解這些組成部分對於準確解讀模型效能至關重要。
社群觀察
社群成員爭論該指數是「失效」還是「無意義」，並指出隨著新模型發布，排名經常重新配置。部分使用者認為加權方案感覺像是針對預期進行了「過度擬合」，而其他人則欣賞其獨立資金來源和方法論的透明度。
