使用者證實，在 Qwen3.5-4B 模型上對「等等」和「也許」等不確定性標記施加 logit 懲罰，可顯著提升準確率。該實驗基於 Meta 的最新研究論文，透過 llama.cpp 在本地環境進行驗證。實驗使用 MATH-500 數據集中的 50 個隨機問題，針對 Qwen3.5-4B 的 GGUF 量化版本，對超過 40 個與猶豫相關的詞元施加特定的 logit 偏置。結果顯示，這種無需重新訓練的低成本方法能有效減少小模型的錯誤，填補了學術研究與本地部署之間的差距。然而，社群回饋指出，從 q8 遷移至 q4_k_m 量化時，準確率下降了驚人的 16%，顯示模型對量化級別具有高度敏感性。
事件背景
Logit 偏置允許使用者透過在預軟最大化分數（logits）上增加值，來調整特定詞元被生成的機率。GGUF 是由 llama.cpp 專案開發的二進位格式，用於儲存模型權重和元資料，透過量化實現高效的本地推理。量化降低了模型權重的精度以節省記憶體並加速推理，但這可能會影響準確率。
社群觀察
社群對結果持謹慎樂觀態度。使用者質疑該結果是否能在不同的基準測試和 27B 等更大模型上複製。有人指出受懲罰的詞元列表雖生成粗糙但理論上穩健，另一些人則對低比特量化中觀察到的顯著準確率下降感到驚訝。
