IBM 研究團隊推出了 SLDD 方法，能夠使用更少的 token 實現高效的上下文編碼。此方法在保持大型語言模型高性能的同時，大幅降低了計算開銷。這項進展通過優化 token 使用量，解決了模型推理和訓練成本中的關鍵瓶頸。它為更廣泛的人工智慧生態系統提供了顯著的效率提升，特別適用於需要低延遲處理的應用場景。SLDD 在不犧牲準確性的情況下，減少了基於注意力的上下文編碼（ACE）所需的 token 數量。此優化利用稀疏路由和動態資源分配來提升計算效率。

事件背景

大型語言模型中的注意力機制使用查詢（Query）、鍵（Key）和值（Value）向量為輸入 token 分配權重，以建立具有上下文感知的表示。具有高注意力權重的 token 對輸出的貢獻較大，而權重較低的 token 貢獻較小。此過程允許模型整合序列中所有相關 token 的信息，但計算成本可能較高。