BenchMIRT 研究揭示 LLM 基準測試的潛在構念與重疊性

BenchMIRT 研究分析了 16 項基準測試中 100 個大型語言模型的結果，涵蓋超過 34,000 道題目，以識別實際測量的潛在構念。研究顯示，包括 MMLU-Pro 和 GPQA 在內的多個熱門基準測試共享重疊的潛在因素，而非測量獨立的能力。

該研究對 60 個模型與 44 個基準測試的效能矩陣進行了因子分析，揭示了內在的低秩結構。其中六項基準測試專門測量一般推理能力，例如 MATH 和 BBH，而其他則捕捉重疊的技能，如安全性或魯棒性。

這項研究透過展示構念效度問題，解決了 AI 評估中的一個關鍵痛點，證明許多基準測試測量的是重複的能力。它幫助研究人員和從業人員更準確地解讀模型分數，並選擇多樣的基準測試以進行全面評估。

事件背景

構念效度是指測試測量其所聲稱測量的程度的指標，對於評估大型語言模型中的安全性或魯棒性等抽象概念至關重要。因子分析是一種統計方法，用於識別解釋觀察變數之間相關性的潛在變數，有助於減少基準測試套件的冗餘性。