菲爾茲獎得主陶哲軒提議將部分開放的數學問題設為 AI 解題禁區，以保留用於訓練和評估的「未受污染」基準測試。此提案旨在解決日益嚴重的訓練資料污染問題，即模型在學習階段可能已經看過答案。 此提案的重要性在於，基準測試污染目前使得難以驗證 AI 是真正學會了解題方法，還是僅僅背誦了答案。保留未受污染的資料集對於準確衡量 AI 進展及開發新的數學技術至關重要。 陶哲軒指出，一旦答案公佈，就很難區分是獨立解題還是來自訓練資料的曝光。他建議透過社會規範來限制 AI 對特定問題的存取，同時引導自動化求解器轉向其他挑戰。

事件背景

基準測試污染是指模型的訓練資料中包含了用於評估它的基準測試範例，這意味著模型並未真正學會解題，而是之前已經看過答案。這個問題在大語言模型和數學基準測試（如 MATH）中普遍存在，高分有時反映的是記憶力而非推理能力。

社群觀察

社群反應兩極，部分用戶認為未受污染的基準測試是必要的，但其他人則認為該提案不切實際。批評者指出，人類也是從已解題中學習的，因此限制對公開問題的存取可能會阻礙整體數學進展。