開發者 web3samy 推出了名為 jitllm 的推理引擎，該引擎能在生成過程中動態地在 GPU 和 CPU 之間遷移模型層。示範影片顯示，在兩張 T4 GPU 之間遷移 Llama-3.2-3B 的所有層僅耗時 8.1 毫秒，且完全沒有重新計算任何 token。由於 KV 快取隨層移動，提示詞無需重新處理，且輸出結果與未移動時的運行一致。開發者展示了一台筆記型電腦（RTX 3050 Ti）的配置，將模型拆分於 CPU、CUDA 和 Vulkan (iGPU) 之間並在生成過程中重新排列。開發者提供的演示數據顯示，在 2× T4 上遷移 Llama-3.2-3B Q4_K_M 模型從 GPU 0 到 GPU 1 暫停 8.1 毫秒，從 GPU 1 到 GPU 0 暫停 8.4 毫秒；在 2× V100 上遷移 Llama-3.2-3B（1.8k-token 對話）從 GPU 0 到 GPU 1 暫停 20–21 毫秒；在 RTX 3050 Ti 筆記型電腦上將 Llama-3.2-1B Q4_K_M 從 CUDA 遷移至 Vulkan 暫停 91 毫秒。在所有測試案例中，重新計算的 token 數量均為 0。

事件背景

開發者表示其構想源自作業系統與 JIT 編譯器的背景：為現有硬體生成核心，並將模型層視為引擎可以放置和移動的進程。透過分頁與遷移技術，模型放置轉變為排程問題，從而支援超出記憶體大小的模型、不相匹配的 GPU 以及隨對話增長而變化的工作負載。