一位使用者在低吞吐量（每秒 2-3 個 token）下使用具備多 token 預測（MTP）功能的推論猜測解碼時，觀察到了可見的速度跳躍現象。這些跳躍發生在高度可預測的短語期間，展示了草稿 token 被瞬間接受的過程。這為推論猜測解碼機制在即時推論中的運作方式提供了直觀的視覺證明。它突顯了將 MTP 與 n-gram 草稿技術結合的潛力，透過利用可預測的文字模式來進一步優化效能。觀察到的速度跳躍對應於固定短語的高接受率，其中多個草稿 token 在單一步驟中完成驗證。
事件背景
推論猜測解碼是一種推論優化技術，由較小、較快的「草稿模型」預測多個未來的 token，然後由較大的目標模型進行平行驗證。多 token 預測（MTP）是一種特定方法，目標模型本身包含原生頭部來預測多個未來的 token，從而消除了對獨立草稿模型的需求。N-gram 草稿技術使用常見 token 序列的靜態查找表來提出候選項，提供了一種比神經草稿模型成本更低的替代方案。
社群觀察
社群成員認為將 n-gram 與 MTP 結合是合理的且幾乎沒有額外成本，NVIDIA 的 TensorRT-LLM 也實作了此技術，使效能幾乎翻倍。然而，部分使用者指出 n-gram 和 MTP 會競爭相同的可預測 token，可能導致報酬遞減，而其他人則強調視覺上的跳躍代表了固定短語的高接受率。
