社群成員成功使用 10 萬個範例,訓練出一個擁有 4,000 萬參數的連接器,為純文字的 DeepSeek V4 Flash 模型新增了基本的視覺功能。此方法讓模型能夠處理影像,而無需完整的原生多模態架構。該連接器作為一個可訓練的張量映射模組,將視覺編碼器的特徵轉換為語言模型的嵌入空間,有效橋接了兩者。這展示了一種新興的低資源方法,可為大型語言模型擴展視覺感知能力,有助於降低部署多模態人工智慧的成本與複雜度。

事件背景

DeepSeek V4 Flash 是一個擁有 2,840 億參數的開放權重大型語言模型,旨在提供高效能與效率。視覺-語言模型通常需要一個連接器或投影層,將影像編碼器的視覺特徵與語言模型的文本嵌入進行對齊。LoRA(低秩適應)是一種用於微調這些連接器的技術,具有極低的計算開銷。

社群觀察

社群成員讚賞這項令人印象深刻的技術成就,並指出雖然 DeepSeek 可能會發布原生多模態模型,但此連接器提供了一個可行的替代方案。部分用戶強調了實施成本與原生訓練模型之間的效能差距,認為若無廣泛的後訓練,其效能可能不如原生為視覺-文字任務訓練的模型。