Reddit 用戶指出,Qwen 與 DeepSeek 及 GLM 等模型透過延伸推理與後訓練技術,取得了顯著的效能提升。討論中提到,即便 Qwen 4 尚未發布,這些模型已展現出能匹敵甚至超越大型專有系統的實力。此趨勢強調了後訓練在初始預訓練之外,對優化大型語言模型以使其更具實用性與領域專屬性的關鍵作用。同時,它也引發了關於本地開源權重模型在編碼與推理能力上能否有效與專有 API 競爭的討論。用戶表示,Qwen 3.8 Max 透過延伸推理達成高準確率,但尋找答案需耗時數小時;而 Q3.8-27B 等本地版本則在無需分享資料的情況下提供驚人的編碼能力。該貼文還預測未來具備「神經印記」(engrams)的模型,在特定任務上可能匹敵 2.4T 參數的模型。

事件背景

後訓練是指在大語言模型初始大規模預訓練之後所進行的訓練,通常包含監督式微調或基於偏好的對齊,以優化模型行為。延伸推理是指在推論期間利用較高的 token 數量,讓模型能逐步思考複雜問題。神經印記(engrams)是神經網路中的記憶痕跡,可被隔離或刪除,從而實現更高效的知识儲存與檢索。

社群觀察

社群對本地開源權重模型普遍持樂觀態度,用戶讚賞 Qwen 的編碼能力與相比專有 API 的資料隱私優勢。然而,對於延伸推理的計算成本以及基準測試圖表可能被操弄的情況,仍存在一些疑慮。