Hugging Face 詳細介紹了英國 AI 安全研究所（AISI）與 EvalEval 聯盟之間的協作，旨在標準化並提升 AI 基準測試結果的可重複性。該計劃透過共享的方法論和工具，致力於建立更穩健的大型語言模型評估生態系統。 可重複性是 AI 研究中的關鍵挑戰，因為不一致的基準測試使得準確比較模型性能變得困難。此次協作為「評估的評估」提供了科學基礎，幫助研究人員和政策制定者更可靠地信任基準數據。 該項目由 Hugging Face、愛丁堡大學和 EleutherAI 共同主辦，利用它們在開源基礎設施和研究方面的專業知識。此次合作重點在於開發標準化格式和穩健的部署基礎設施，以支持更廣泛的影響力評估。

事件背景

英國 AI 安全研究所（AISI）前身為人工智慧安全研究所，是一個政府研究機構，專注於理解先進 AI 帶來的風險。EvalEval 是一個研究聯盟，致力於開發基於科學基礎的 AI 模型評估成果，以應對快速發展的 AI 領域中對可靠基準測試日益增長的需求。