Black Forest Labs 於 2026 年 10 月 15 日發布了 FLUX.3 Image Klein,這是一個開源圖像生成模型,即日起可在 Hugging Face Diffusers 中使用。該模型整合了文字轉圖像、多參考圖像轉圖像以及創新的邊界框版面控制功能。使用者可以在提示詞中寫入邊界框(bounding boxes)來指定圖像各部分的位置,或指定參考圖像中需要移動的部分。
發布包含兩個開放權重檢查點: 1. `black-forest-labs/flux-3-image-klein`:時間步蒸餾版本,用於快速推理,預設為 16 步且無需無分類器引導(CFG)。 2. `black-forest-labs/flux-3-image-klein-base`:基礎模型,預設為 50 步並使用 CFG。
在 H100 GPU 上,蒸餾檢查點可在約 2 秒內生成 1024x1024 的圖像。為了適應較小的 GPU,模型支援 NVFP4 和 FP8 量化權重,可透過 `from_single_file` 載入。此外,Diffusers 提供了針對文字轉圖像和圖像編輯的 LoRA 訓練腳本。該模型以 Modular Diffusers 管線形式發布,允許開發者替換或添加模組區塊。
版面控制功能允許在提示詞後附加 JSON 格式的区域定義,每個区域包含 ID、邊界框(bbox)和描述。邊界框座標採用 0-1000 的歸一化尺度,格式為 `[y_min, x_min, y_max, x_max]`(y 優先),因此相同的框座標適用於任何圖像尺寸。在編輯任務中,可以指定來源邊界框(src_bbox)和目標邊界框(tgt_bbox)來移動參考圖像中的元素。
關於運行成本,原文提供了不同量化格式在特定硬體上的記憶體峰值數據: - NVFP4 (RTX6000):載入後峰值分配 13.4 GiB,推理後 15.3 GiB。 - FP8R (H100):載入後峰值分配 14.35 GiB,推理後 16.27 GiB。 - BF16 (H100):載入後峰值分配 18.80 GiB,推理後 20.72 GiB。
FP8R 和 NVFP4 的加速效果取決於硬體:FP8R 需要計算能力 8.9+(Ada, Hopper, Blackwell)才有快速核心,否則僅降低記憶體使用而無速度提升;NVFP4 僅在 Blackwell 架構上配合特定版本的 flashinfer 庫時才有加速,否則同樣僅降低記憶體。若記憶體不足,可載入量化轉換器、單獨運行文字編碼器後釋放它,或啟用自動 CPU 卸載(原文註明此功能未進行基準測試)。
事件背景
FLUX.3 Image Klein 是 Black Forest Labs 推出的最新開源圖像生成模型。該模型依賴 Qwen3-VL 作為文字編碼器,因此安裝時需更新 `diffusers` 和 `transformers` 庫。模型支援 DreamBooth LoRA 訓練,包括文字轉圖像和基於指令的圖像編輯(使用參考圖像、目標圖像和指令的三元組)。



