Hugging Face 部落格在 Sentence Transformers 函式庫中引入了多向量嵌入模型，這類模型也被稱為晚期互動或 ColBERT 風格模型。此實作方式讓模型能夠將每個詞元嵌入單獨投影，而不是將其壓縮成單一向量，從而保留了更細緻的語義細節。

這項更新透過在檢索準確率與計算效率之間取得平衡，解決了檢索增強生成（RAG）架構中的一個重要轉變。它讓開發人員能夠利用複雜的相似度函數來捕捉數據點之間更豐富的關係，這對於高精度的語義搜尋應用至關重要。

與將資訊壓縮成單一表示的传统單向量模型不同，這些多向量模型將查詢和文件嵌入分解為較低層級的詞元表示。這種方法允許進行語義豐富的互動，從而實現對包括文字和影像在內的不同非結構化數據的精確檢索。

事件背景

晚期互動模型（例如 ColBERT）使用 BERT 等轉換器架構獨立編碼查詢和文件，然後採用細粒度的互動步驟來建模它們的相似度。這種方法避免了將詞元嵌入壓縮成單一向量時所產生的資訊損失，從而實現查詢詞與文件內容之間更細緻的匹配。