Hugging Face 的 transformers 函式庫現在原生支援 GGUF 檔案，讓使用者可以直接將量化模型載入 PyTorch，無需額外載入器。這使得高效的 GGUF 格式能無縫整合到強大的 PyTorch 生態系統中，便於除錯與訓練。這項進展彌補了高效 GGUF 格式與 PyTorch/Transformers 生態系統之間的差距，使得在量化模型上進行除錯、評估和 LoRA 訓練變得更加容易。它顯著降低了開發人員和研究人員使用標準工具處理本機大型語言模型的門檻。在支援的 Apple Silicon 裝置上，該函式庫會重複使用 ggml 核心，直接從壓縮的量化權重執行模型，達到與 llama.cpp 相當的效能。然而，若追求最高的本機推理速度，llama.cpp 仍是比此新原生整合更好的選擇。
事件背景
GGUF（GGML Universal File）是一種二進位檔案格式，專為快速載入和儲存模型而設計，最適化於 llama.cpp 等工具的推理使用。量化是一種降低模型參數精度（例如從 32 位元浮點數降至 4 位元整數）的技術，使模型在資源有限的裝置上運行時更小、更快，且不會顯著損失準確度。transformers 函式庫是一個廣泛使用的 Python 函式庫，用於自然語言處理任務，提供簡易的 API 來載入和微調預訓練模型。
社群觀察
社群成員對 ComfyUI 等工具原生支援 GGUF 的潛力感到興奮，並認為在 GGUF 模型上訓練 LoRA 能比傳統方法節省記憶體。使用者也指出，這簡化了在角色扮演聊天中交換不同量化模型以及調整生成設定時無需切換工具的過程。
