H Company 推出新型多模態編碼器 NeoMME，該模型採用單一雙向 Transformer 架構，能同時處理文字與影像輸入。NeoMME 提供 2.6 億與 8 億參數兩個版本，專為高效處理多種輸入類型及多國語言而設計。

在技術架構上，NeoMME 對文字採用分解式詞元嵌入，並將影像分割為不重疊的 32x32 像素區塊進行投影，允許直接輸入原始影像區塊。兩個模型變體共享相同的底層結構，在維持計算效率的同時，針對長上下文理解進行了優化。

事件背景

原生多模態模型（NMMs）具備統一的後端架構，核心模型可直接攝取來自多個模態的詞元，無需依賴獨立預訓練的編碼器或晚期融合頭。這與傳統方法在各模態分別編碼後再合併輸出的方式形成對比。NeoMME 利用此原生設計，為多模態任務提供更簡潔且高效的替代方案。