開發者針對 llama.cpp 進行了修改，允許在記憶體中即時修補 Ngram PLE 表格，從而實現 Qwen 模型的熱插拔知識注入，無需重新載入模型。此修改允許使用者在推論期間，動態將新資料注入模型的早期層。

這項技巧提供了傳統微調或 RAG（檢索增強生成）的低成本替代方案，可能讓本地 LLM 擁有即時且可熱插拔的長期記憶。它透過允許即時知識更新而無需完整的重新訓練，解決了本地模型的一個主要限制。

該技術在 q8 量化下效果最佳，且由於 PLE 表格採用記憶體映射，因此需要大量記憶體。儘管由於嵌入在早期注入，輸出控制可能具有挑戰性，但開發者已發布兩個儲存庫：一個用於 llama.cpp 的修改，另一個用於 Ngram 知識注入編譯器。

事件背景

llama.cpp 是一個流行的 C++ 函式庫，用於在本地運行大型語言模型，以其效率和支援各種量化格式而聞名。Ngram PLE（位置線性嵌入）表格是 Qwen 等模型中的一個組件，透過快取 n-gram 序列來協助模式識別和上下文處理。熱插拔是指在系統運行時更換組件或資料來源，而無需重新啟動。

社群觀察

社群反應熱烈，將此方法與 LoRA 相比擬，並展望本地模型可下載的「專家植入物」未來。使用者認為這可作為第二層上下文，用於匯入文件而無需依賴複雜的 RAG 工作流程。