一項技術分析探討大型語言模型（LLM）中可辨識的助理風格（如長破折號、「不是 X 而是 Y」結構、三項列表、流行語）在模型中的位置及其訓練階段來源。研究發現，在 Qwen3-4B-Instruct 中，模型自身誇張與平實寫作之間的差異均值方向可區分 64 組手寫最小對，且與一般輸出上的基於陳詞濫調的風格雜訊分數相關性高達 0.82。Logit-lens 讀數顯示存在一個語域軸（宏大、抽象詞彙對比「真的」、「基本上」、「東西」等平實緩衝詞），且各陳詞濫調方向具有跨語言特性：「不是 X 而是 Y」會促進中文的「而是」。關於來源，基礎模型在中間層具有相同方向（餘弦相似度 0.90 至 0.97），但寫作接近平實端。在 OLMo 2 1B 上，於每個發布階段進行測量顯示，SFT 引入了修辭結構，而 DPO 透過流行語和 Markdown 格式使風格雜訊分數加倍。對 OLMo 偏好數據評分顯示，在 3,000 對數據中，57% 的情況下被選中的回應是風格更雜亂的那一個。關於消除方法，方向性消融使風格雜訊增加高達 89%，因為乾淨文本在該軸上投影為負值。在第 12 至 23 層進行固定向量減法在狹窄的 KL 預算內有效（人類文本約 0.4 nats/token），並減少 token 禁令無法觸及的結構性陳詞濫調。蒸餾為 rank-16 LoRA 後，無需系統提示即可將風格雜訊分數降低 83%，其 KL 低於直接導向操作，且在小型 QA 檢查中無效能下降。作者明確指出研究存在限制：風格雜訊評分器為作者自製的正則表達式偵測器，主要結果僅基於一個 4B 模型（Qwen3-4B-Instruct）及 OLMo 2 1B，且尚未進行人類評估。

事件背景

原文指出，該研究與 Paech 等人（2025）的 Antislop 工作互補，後者在 token 層級處理風格雜訊，而本研究則從表示層面進行處理。