Artificial Analysis 發布了智慧指數第 4.2 版，並引入 AA-Omniscience 指標來衡量知識可靠性與幻覺率。此次更新根據新的評分系統調整了模型排名，該系統獎勵正確答案、懲罰幻覺，同時允許模型自由拒絕回答。AA-Omniscience 指數是一個介於 -100 到 100 之間的有界指標，其中 0 分表示模型正確回答的頻率與產生幻覺的頻率相同。新指標解決了大型語言模型評估中的一個關鍵痛點，即區分頻繁產生幻覺的模型與適當拒絕回答的模型。此次更新還調整了 Astra 和 Sol 等模型的排名，引發了關於這些調整科學嚴謹性的討論。
事件背景
Artificial Analysis 智慧指數是生產基準分數的加權平均值，範圍從 0 到 100，用於排名 AI 模型的能力。AA-Omniscience 基準測試專門評估超過 40 個經濟相關領域的事實召回率，重點在於知識檢索與幻覺之間的權衡。
社群觀察
社群意見兩極，部分用戶讚賞全知指標透過獎勵拒絕回答來更準確地反映模型實際效用。另一些人則批評該指標缺乏科學性，指出排名變化隨意，並質疑 Artificial Analysis 作為基準提供者的可靠性。
