AI 安全中心與 Scale AI 發布了「人類最後考試」（Humanity's Last Exam）基準的更新版本 HLE-Diamond，旨在修正原版測試中報告的缺陷。此次修訂包含 2,500 道由專家編寫的問題，涵蓋廣泛學科領域，以更精確地評估前沿人工智慧的智慧與推理能力。
此次更新具有重要意義，因為原版基準曾因準確性問題受到批評，使 HLE-Diamond 成為校準人工智慧智慧指數的關鍵資源。該基準專注於評估模型的高推理層級表現，並指出在啟用工具時，模型性能可能會出現顯著變化，有助於業界理解模型在推理模式與工具使用方面的飽和程度。
事件背景
人類最後考試（HLE）是由 AI 安全中心與 Scale AI 共同創建的 multimodal 基準，於 2025 年 1 月公開發布。它旨在成為同類中最後一個閉卷學術基準，涵蓋廣泛學科以測試當前人工智慧模型的極限。原版後來被發現存在缺陷，從而促成了此次修訂版本的開發。
社群觀察
社群對此次發布持正面看法，用戶指出在得知原版 HLE 存在缺陷後，這則消息令人振奮。討論強調其能更好地校準 AI 智慧指數，並指出所有模型均在高推理層級上進行評估，這在使用工具時可能導致表現飽和。
