DiffusionGemma 技術報告詳細說明了如何將現有的 Gemma 4 26B 混合專家（MoE）檢查點轉換為擴散模型，方法是將其對數機率（logits）重新用作去噪器。這種方法允許模型透過離散擴散而非傳統的自回歸解碼來生成文本。

此架構將解碼瓶頸從記憶體頻寬轉移至原始運算能力，有望在單張 NVIDIA H100 GPU 上實現每秒超過 1,000 個記號的生成速度。它為自回歸模型提供了一種全新的替代方案，可能會對軟體開發工作流程和編譯器基礎設施產生重大影響。

DiffusionGemma 利用擴散過程中固有的雙向上下文和自我校正機制，使其與標準大型語言模型有所區別。該模型專為運算能力大於記憶體頻寬的機器設計，但已在 Apple Silicon 上展現良好效能，在 M3 系列機器上每秒可生成約 15 個記號。

事件背景

擴散模型最初在影像生成中流行，其運作方式是從隨機訊號中逐漸去除雜訊以揭示結構化數據。在大型語言模型（LLM）的語境中，擴散涉及從隨機記號開始並迭代將其精煉為連貫文本，這與自回歸模型的逐記號順序生成形成對比。這種混合方法旨在結合擴散的平行處理優勢與 LLM 的語義理解能力。

社群觀察

社群成員強調該模型在 Apple Silicon 上的強大推理能力和高效能，其中一位開發者在 M3 硬體上達到了每秒 15 個記號的速度。此外，人們還廣泛討論了它對程式語言和編譯器的潛在影響，因為高速推理可能會在提示活躍期間使 CPU 時間成為瓶頸。