llama.cpp 專案出現一個 Pull Request，建議引入 IQ2_K、IQ3_K、IQ4_K、IQ5_K 和 IQ6_K 五種新的量化類型。根據提案內容，這些新格式的檔案大小與現有的 Q-quants 相同，且在 KL 散度（KLD）指標上有顯著改善，但模型執行效能會略微下降。
目前大小是最小值，向右滑動可放大。
根據 Reddit 討論串引用的資訊，這組新的 IQ2_K 至 IQ6_K 量化類型在檔案大小上與現有的 Q-quants 保持一致。
提案指出，相較於 Q-quants，這些新格式在 KL 散度（KLD）上有顯著的改進。
然而，代價是模型的推理效能會受到輕微影響，且建立這些 IQ 量化檔案的過程被描述為「有些緩慢」。
目前的數據僅針對單一模型進行展示，並未涵蓋多種不同架構或參數量的模型驗證。
相關技術細節與程式碼變更可透過 llama.cpp 的 GitHub Pull Request #30715 查閱。
測試用的模型檔案已上傳至 Hugging Face 上的 eaddario/IQ2_K-IQ6_K-Test-Models 倉庫，供社群參考與驗證。
截至本次發布，正式發布包未登錄更正。
AI 協助擷取、寫作與核對；最終內容依來源與驗證規則發布。
DeepSeek-AI正式發布並開源了高性能推理框架DeepInfer，該框架專為其大規模生產服務設計。目前主要支援DeepSeek-V4.1-Flash模型，並同時相容NVIDIA SM100 GPU與華為Ascend 950 NPU硬體平台。
Cloudflare、VoidZero與Owner.com合作開發名為tsrs的TypeScript編譯器Rust移植版本，並將其納入Oxc JavaScript編譯器工具鏈。根據早期基準測試，在相同類型檢查工作數下，tsrs比TypeScript 7.0快達8倍，記憶體使用量減少約70%。
Hugging Face 發布 TorchTPU，將 Google TPU 整合為 PyTorch 的原生後端，使用者無需再透過 torch_xla 或 JAX 即可直接在 TPU 上執行模型。此舉讓 Transformers、Diffusers 等主流函式庫能原生支援 TPU，簡化了從雲端下載模型並直接部署的流程。
我們使用 Google Analytics 了解閱讀情況與改善新聞網站。你可以接受或拒絕分析 Cookie，不影響閱讀。了解 Cookie 政策
