DeepSeek 發布了 v4.1-Flash,這是一款採用新型因果編碼器-解碼器(CED)架構的多模態模型,擁有 7630 億個總參數。該模型結合雙向編碼與自回歸解碼,標誌著架構的重大演進,並原生支援影像與文字處理。
在設計上,該模型採用非對稱結構,儘管總參數高達 7630 億,但輸入僅使用 80 億個活躍參數,輸出則使用 160 億個活躍參數。此外,它支援高達一百萬個 token 的上下文視窗,並透過 DeepSeek API 以 MIT 授權提供。
事件背景
傳統的大型語言模型(如 GPT)主要基於解碼器,以自回歸的方式逐個 token 生成文字。相比之下,編碼器-解碼器架構(常用於翻譯任務)在生成輸出前會對輸入進行雙向處理。DeepSeek 的新型 CED 架構融合了這兩種方法,使模型能在保持生成效率的同時更深入地理解上下文。
社群觀察
社群反應相當正面,許多觀察者認為該模型的能力足以將其稱為 DeepSeek v5。討論中突出了對此次架構演進的技術興趣,以及它在速度和智能方面超越先前版本的潛力。



