一項綜合研究利用超過 167 個 GPU 小時,在 13 項基準測試中評估了八個 Qwen 3.8 27B 模型的無限制變體。結果顯示 'orcarouter' 以 HarmBench 82.2% 的攻擊成功率成為最佳表現者,而 'apostate' 則憑藉最低的 KL 散度提供了最高的性價比。這項分析透過平衡拒絕率與輸出品質,協助本地 LLM 愛好者選擇最佳的無限制模型。它提供了具體數據,說明不同的消融方法如何影響模型能力,例如版權解鎖和近恒等性保留。該研究利用 KL 散度測量分佈差異,並使用 HarmBench 評估拒絕率,顯示出更高的無限制程度並不總是會降低品質。特定的變體如 'apostate' 使用了新的 KCRN 方法,僅透過 41 次實際編輯就達成了近恒等性能力。
事件背景
消融模型(Abliterated models)是經過權重修改以降低拒絕率的大型語言模型,無需進行完整的重新訓練。KL 散度是一種統計測量值,用於量化一個機率分佈與另一個分佈之間的差異,是衡量模型保真度的關鍵指標。HarmBench 是一個標準化的自動化紅隊測試框架,用於評估模型抵抗對抗性攻擊的能力。
社群觀察
社群成員讚賞了這項廣泛的研究,但要求提供視覺輔助以增進清晰度。大家對於攻擊成功率與輸出品質之間的權衡進行了熱烈討論,並質疑更嚴格的無限制方法是否會降低原始模型的表現。



