新工具 'phantom-kv' 允許使用者透過注入一個小型的學習型 KV 快取銀行（約 18MB）來去除大型語言模型的審查限制。此方法可在不修改模型權重的情況下，實現每次請求的拒絕移除功能，提供了一種可熱插拔的替代方案，取代了永久性的權重編輯。
此方法將去審查功能與模型檢查點解耦，允許使用者動態切換審查開關，而無需重新燒錄權重或破壞量化效果。該系統針對模型自身的目標，離線訓練一組鍵/值張量銀行，確保在有害提示下順從，同時在無害提示下保留原有行為。
與激活空間投影不同，它不需要一維拒絕方向假設、無需前向傳遞鉤子，也不需要針對新架構進行重建。它透過輸入通道注意力而非權重空間修改來影響模型行為，代表了推理優化領域的重大轉變。
事件背景
在 Transformer 模型中，KV 快取是一種在推理階段使用的記憶體高效技術，用於儲存自我注意力層中的鍵和值向量。透過重用先前處理過 token 的上下文表示，該快取可最小化冗餘計算，顯著提升效能。像「abliteration」這類方法通常直接修改模型的權重矩陣以移除拒絕方向，這是一種對檢查點的永久性更改。
社群觀察
社群成員持懷疑態度，有人質疑此方法是否僅是一個看不見的系统提示，而其他人則欣賞其避免修改權重的技術新穎性。大家也對其與現有異端方法（如 KL 散度）的性能比較，以及在不同模型間的通用性驗證表現出濃厚興趣。
