騰訊成功將 Hy4-preview 模型從原始的 1.5TB 壓縮至約 200GB 的 GGUF 格式，同時保留了約 98% 的效能。這項成果顯示在大幅降低儲存需求的情況下，模型能力並未顯著流失。 這項壓縮突破突顯了在消費級硬體上運行龐大大型語言模型的日益可行性。它透過使高效能模型更易取得且更有效率，為本地 AI 部署帶來了更光明的未來。 Hy4-preview 模型採用混合專家（MoE）架構，總參數達 770B，每 token 激活 49B。轉換為 GGUF 格式後，可利用 llama.cpp 等工具實現最佳化的推理速度和高效的儲存。

事件背景

GGUF（GPT-Generated Unified Format）是最新的人工智慧模型檔案標準，提供硬體特定的最佳化以及節省磁碟空間的壓縮格式。模型壓縮技術，如量化和剪枝，對於縮減大型語言模型的體積並提升推理速度至關重要。

社群觀察

社群成員對壓縮比例表示驚嘆，有人指出由於模型尚未完成後訓練，其正式發布版可能會在基準測試中取得更高的分數。其他人則強調了這些模型在 RTX 3080 等消費級顯示卡上運行的潛力。