騰訊發布了開源的 Hy4-preview,這是一個擁有 770B 參數的混合專家(MoE)模型,每個 token 激活 49B 參數。在工程任務的盲測專家評估中,其表現略勝於競爭對手 GLM-5.3 和 Kimi K3。 此次發布展示了騰訊在大語言模型市場中的競爭力,並透過稀疏激活展現了高效率。它為社群提供了一個強大的開源權重替代品,適用於複雜的工程和科學任務。 該模型具備 100 萬的上下文視窗,並採用 DeepSeek 稀疏注意力(DSA)和 MTP 猜測解碼技術。它已上架 HuggingFace 和 GitHub,已知問題包括處理複雜任務時推理時間較長。
事件背景
混合專家(MoE)是一種架構,對於每個輸入僅激活部分參數,從而大幅降低計算成本同時保持大型模型的容量。與同等大小的稠密模型相比,這使得訓練和推理更加高效。
社群觀察
社群成員對高性能模型的快速發布表示興奮,並指出 Terminal-Bench 上 85.4 分的亮眼表現。部分用戶強調了 MoE 架構的效率,另一些人則讚賞騰訊發布早期版本以收集社群回饋的策略。



