開發者逆向工程了 Axera AX8850 NPU 的專屬引擎格式，透過 llama.cpp 直接運行 GGUF 模型，推理速度比原廠執行環境快 1.5 倍。此技術透過在載入時將 GGUF 權重修補至預編譯的引擎中，跳過了模型轉換步驟。 這項突破展示了逆向工程如何打破供應商鎖定並提升邊緣 AI 硬體的性能。它為使用 Home Assistant 或機器人平台的開發者提供了實用解決方案，使其能在無需複雜編譯流程的情況下利用 NPU 加速。 原廠使用獨特的雙半位元組（nibble plane）格式儲存 int8 權重，開發者藉此解碼並允許直接進行位元組層級的修補。此外，開發者發現並修復了原廠預填路徑中的緩衝區綁定錯誤，從而充分利用批次推論功能。
事件背景
GGUF 是由 llama.cpp 專案引入的二進位檔案格式，用於高效儲存模型張量與元數據，使消費者硬體也能進行本機大型語言模型推理。NPU（神經網路處理單元）是專為高效 AI 運算設計的晶片，通常需要使用專屬工具將模型轉換為原生格式才能部署。
社群觀察
社群成員強調該專案對 Home Assistant 和機器人應用的價值，指出雖然 M5Stack 卡比 Raspberry Pi 貴，但相比 Jetson Nano 等競爭對手提供了顯著的效能提升。用戶也表達了在新加速器 4GB 版本上運行 Qwen3.5-0.8B 等新模型的興趣。
