一篇發表於 NeurIPS 的論文提出，不同大型語言模型的嵌入具有共享的通用幾何結構，可透過等距映射進行轉換，儘管其原生表示的可執行性存在差異。該框架允許將任何嵌入翻譯為通用潛在表示，並從中還原。這一發現支持了柏拉圖表示假說，暗示不同模型之間存在共同的語義空間。這意味著知識和表示可以比先前認為的更有效地在不同的大型語言模型架構之間進行轉移。該研究區分了相似性與可執行性，指出翻譯中缺失的微小變異百分比（R²）對於使隱藏狀態在原生大型語言模型中可執行至關重要。該方法是非監督式的，並側重於源自大型語言模型的文件嵌入。

事件背景

等距映射是一種保持點之間距離不變的變換，常用於幾何學中將一個空間無失真地映射到另一個空間。柏拉圖表示假說認為，所有神經網路都學習相同的底層語義概念，僅以不同的座標系表示。嵌入是捕捉語義關係的數據向量表示。

社群觀察

社群成員指出，雖然嵌入可以變得相似，但缺失的變異性是實現可執行性的關鍵。有人認為該論文數學細節較少但論述豐富，其他人則建議在大小相似的模型內部激活空間上測試該方法。