研究人員推出了對比語言模型（CLM-8B），這是一種「系統一」架構，利用凍結的大型語言模型隱藏狀態進行分類，並宣稱其延遲時間比 Jev 等自回歸模型低達 9 倍。這種方法透過在預訓練模型的內部表示之上訓練輕量級分類器，跳過了逐個記號生成的過程。 這項進展為主導的自回歸生成範式提供了顯著的替代方案，對於只需要最終答案而非完整文本生成的任務，有望降低計算成本和推理時間。它突顯了利用內部狀態而非僅依賴輸出記號預測來優化大型語言模型效率的趨勢。 該模型使用 Nemotron 問答對和合成難負樣本進行對比學習訓練，使其能夠直接從凍結的 LLM 隱藏狀態輸出答案機率。雖然效率較高，但社群討論指出延遲時間的聲稱高度取決於模型是在本地還是遠端伺服器上運行，且關於其究竟是真正的「分類器」還是特殊生成器的爭議仍在繼續。
事件背景
對比學習是一種機器學習技術，透過比較正樣本對（相似項目）與負樣本對（不相似項目）來學習表示。在大型語言模型的背景下，「凍結」指的是保持預訓練模型的權重不變，而在其上訓練額外的層級。「系統一」模型是丹尼爾·卡尼曼普及的術語，指快速、直覺和自動的思考過程，與緩慢且深思熟慮的「系統二」相對；在人工智慧領域，這通常對應於非自回歸或基於分類器的方法與自回歸生成之間的區別。
社群觀察
社群反應褒貶不一，有人讚賞其對訓練過程的技術洞察，但對「系統一」術語和延遲聲稱持懷疑態度。批評者認為該模型本質上是從 Opus 5 等基礎模型中選擇最佳想法，而非生成新內容，並指出與本地推理相比，在遠端伺服器上運行時延遲優勢並不明顯。
