騰訊發布了 Hy4 預覽版模型,這是一款新一代的開源混合專家(MoE)語言模型,其開發過程具備創新的遞迴自我改進循環。該模型在 OpenRouter 平台上表現亮眼,僅在短短幾天內就處理了數兆個 token。此發布的重點在於展示了遞迴自我改進的實際應用,即模型能參與自身訓練方法和數據策略的優化。此外,其在 OpenRouter 上的低廉成本與高採用率,使其成為競爭對手 GLM 5.3 的有力替代方案。Hy4-preview 的主幹架構擁有 770B 總參數,在 78 層中每 token 激活 49B 參數,並採用帶有 IndexCache 的閥控 DeepSeek 稀疏注意力(Gated DSA)。其遞迴循環包含模型提出方法、執行實驗並根據結果迭代,以優化底層運算子。

事件背景

遞迴自我改進是一種假設中的過程,AI 系統透過重寫自身程式碼來提升能力,可能引發智慧爆炸。OpenRouter 是一個平台,透過單一 API 讓開發者能夠存取數百個大型語言模型,促進各種模型的整合與測試。

社群觀察

社群成員對 Hy4 在 OpenRouter 上的快速採用和成本效益印象深刻,指出其在極短時間內處理的 token 數量超過 GLM 5.3 一週的量。討論也涵蓋了來自 DeepSeek 和 GLM 的架構啟發,以及對詞彙優化可能產生「新話(NEWSPEAK)」效應的關注。