知名貢獻者 bartowski 已在 Hugging Face 上更新了 Qwen3.8-27B GGUF 模型，採用新的張量級（per-tensor）佈局映射進行量化。此次更新調整了權重比例的儲存方式，旨在優化記憶體佈局並可能提升推論效能。對於 LocalLLaMA 社群而言，此更新具有重要意義，因為它提供了一種替代的量化策略，可能在相容性或效能上優於標準佈局。使用者可以將這些新佈局與 Unsloth 和 GSQ 等其他方法進行基準測試，以確定最適合其硬體的最佳設定。GGUF 是一種專為快速載入和儲存模型而設計的二進位檔案格式，廣泛用於 llama.cpp 等基於 GGML 的執行器。張量級佈局為整個權重矩陣儲存單一的比例係數和零點，這與通道級或群組級的細粒度有所不同。

事件背景

GGUF（GGML 通用檔案）是用於儲存適合本地推論的大型語言模型的標準二進位格式，取代了較舊的 GGJT 格式。量化技術透過降低模型精度來節省記憶體並加速處理，不同的佈局策略會影響資料在記憶體中的組織方式。Qwen3.8-27B 是阿里巴巴推出的一款多模態開源權重模型，適用於程式碼生成和視覺理解。

社群觀察

社群成員正在將新的張量級佈局與其他量化方法（如 Unsloth 和 GSQ）進行比較，以評估效能提升。使用者對基準測試的有效改進表示興趣，並指出更新後的模型包含了多 Token 預測（MTP）功能。