NeurIPS 2026 發表的論文推出了 CO₂Jump,這是一種無需訓練的採樣器,利用耦合馬可夫跳躍過程來確保同時生成的文本與圖像之間的一致性。
CO₂Jump 在每個去噪步驟中僅需一次模型前向傳遞,且其效能隨採樣步數的增加而單調提升。它利用文本置信度和跨模態注意力來引導圖像更新,確保隨著新證據出現,早期的決策可以被修正。該方法允許低置信度的詞元被遮罩並重新生成,使模型能在生成過程中進行自我修正。
事件背景
在多模態生成中,確保文本和圖像在去噪過程中保持一致是一項挑戰,因為一個模態中的錯誤可能會傳播到另一個模態。馬可夫跳躍過程是一種隨機過程,狀態之間的轉換發生在離散時間點,常用於模擬具有突變的系統。CO₂Jump 將這些數學概念應用於根據文本置信度動態調整圖像生成,以解決跨模態一致性問題。
社群觀察
社群成員認為此方法在教育內容生成方面潛力巨大,例如為數學題目自動生成配套圖表,或為早期識字課程提供插圖。另有評論者對其展現的通用資訊智能潛力表示興奮。



