NeurIPS 論文軌道使用專有的 Pangram AI 偵測器,直接拒收了 178 篇投稿,佔總投稿數的 18.4%。由於該偵測器對軌道主席自己的論文也打出了 24% 至 69% 的 AI 生成分數,此舉引發了廣泛爭議。 此事件突顯了在高風險學術同儕審查中使用黑盒 AI 偵測器的可靠性問題與潛在偏見。它引發了對誤報率(特別是針對非母語為英語的研究者)以及偵測器供應商商業動機的擔憂。 Pangram 的預設設定最初標記了 42.7% 的投稿,迫使組織者調整文字視窗以將標記率降至 12.7%。此外,有 22 篇論文因「循環陷阱」被拒收,即偵測器的分數被用作證明那些否認使用 AI 的作者說謊的證據。

事件背景

直接拒收(Desk rejection)是指在進行完整同儕審查之前,因格式錯誤或內容瑣碎而直接拒絕論文的做法。Pangram 是由 Pangram Labs 開發的 AI 偵測軟體,利用自然語言處理和模式分析來識別大型語言模型生成的文字。近期研究顯示,AI 偵測器具有較高的誤報率,特別是對於正式或非母語為英語的寫作。

社群觀察

社群意見兩極,部分用戶指出誤報率過高,另一些人則指出原始帖子很可能是偵測器創作者發布的 AI 生成垃圾訊息。雖然有人同意主席的分數顯示出不一致性,但其他人認為拒收規則除了偵測器分數外還包含其他條件。