Allen Institute for AI (Ai2) 發布了名為「Old Ideas, Novel Problems」的新研究及基準測試（Novelty Bench），探討大型語言模型（LLM）作為「新穎度評判者」（novelty judges）評估科研想法原創性的可靠性。研究發現，目前基於 LLM 的新穎度評估極不可靠，微小的設定變動即可導致對同一想法的判斷產生巨大差異。
研究團隊建立了兩個評估場景： 1. **Human-Only**：包含 154 個高新穎度的人類撰寫想法（來自 ICLR 2026 頂尖前 10% 且審稿人明確肯定其原創性的論文）與 145 個低新穎度想法（來自後 10% 被拒論文中審稿人質疑原創性者）。 2. **Human+Generated**：將上述 154 個人類想法與由簡單 LLM 生成器產生的 154 個想法配對。假設生成想法新穎度較低（此為弱標籤，非經過驗證的判斷），以進行保守比較。
測試對象包括 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 及 Claude Opus 4.6 六種模型。結果顯示： * **提示詞敏感性極高**：僅更改提示詞中的幾個字，GPT-5.4 在 Human+Generated 數據集上的準確率從 93.5% 暴跌至 40.9%（低於隨機猜測），且超過一半的配對判斷發生改變。相比之下，同樣的提示詞變動在 Human-Only 數據集上僅影響約 7 個百分點，但在 Claude Opus 4.6 上仍造成 21 個百分點的波動。 * **無通用最佳提示**：某些提示詞能提升特定模型的準確率，卻會降低其他模型的表现。 * **增加搜尋與推理未必有效**：賦予 GPT-5.6 Sol 超高推理預算及即時 arXiv 搜尋能力後，其 macro-F1 分數為 0.78，落後於標準設定的 Claude Opus 4.6（0.89），且成本高出約 10 倍。 * **專用評估系統表現不佳**：專門設計的 Idea Novelty Checker（得分 0.642，成本 $30.66）和 Sakana AI 的 AI Scientist（得分 0.772，成本 $82.05）在準確度和成本效益上均不如簡單的 Claude Opus 4.6 提示基線（得分 0.854，成本 $2.59）。
研究結論指出，LLM 在新穎度評估上仍存在重大未解決問題，特別是在處理 AI 生成的想法時表現脆弱。Ai2 發布了基準測試、數據和程式碼，旨在幫助研究者開發更穩健的評估方法。
尚待確認：Human+Generated 數據集中關於 AI 生成想法新穎度較低的標籤被明確標記為「弱標籤」（weak labels），並非經過驗證的判斷，僅基於假設（簡單生成器 vs 頂尖論文）。
尚待確認：研究指出某些核心發現不依賴標籤，而是通過不同評估設定對同一配對給出相反答案來揭示不穩定性。
事件背景
該研究由 Ai2 團隊發布，於 2026 年 10 月 27 日發表在 Hugging Face 部落格。Ai2 此前已開發 DataVoyager、AutoDiscovery、Theorizer 和 Asta 等支持科學發現的 AI 系統。研究指出，自動化科學發現不僅需要生成想法，還需要區分真正的新穎方向與僅是重新包裝現有工作。目前業界常使用 LLM 作為「新穎度評判者」，但缺乏標準化的構建方法，且這些評判者通常僅在人類撰寫的論文上進行驗證，而非其實際要評估的 AI 生成想法。
