作者宣布將「Voodoo Dynamic Quant」以 MIT 授權開源，這是一種全新的架構無關動態量化方法。該方法在 Qwen3.5 GGUF 模型上達到了最優結果。

作者分享了隨附的工具組，讓社群能夠重現這些結果並建立自己的動態量化模型。這項發布為 LocalLLaMA 社群提供了即時的價值，提供了一個在寬鬆 MIT 授權下的高效能開源量化工具。

Voodoo Quant 的核心技術是透過同時運行每個張量的所有量化層級，並使用梯度下降來選擇能最小化目標檔案大小損失的佈局。這驗證了使用梯度下降來優化張量層級量化佈局的技術相關性，可能影響未來的 LLM 壓縮技術。

雖然效果顯著，但該方法計算成本高昂，在 RTX 4090 上單一步驟約需 40 分鐘。

事件背景

動態量化允許 LLM 內的不同張量使用不同的量化層級，與靜態量化相比，能在模型大小與準確度之間提供更好的平衡。GGUF 是一種支援此動態方法的熱門模型格式，能夠在 RTX 4090 等消費級硬體上進行高效部署。

社群觀察

社群成員讚賞了開源發布，但指出 GitHub 文件有些幽默且需要整理。用戶也討論了高昂的計算成本，有人指出在 RTX 4090 上 40 分鐘的步驟對某些人來說可能太昂貴，而其他人則希望 Bartowski 等開發者能採用此方法。