一位 Reddit 使用者分享其混合硬體配置成果，透過 RPC 將推測性解碼的草稿模型（drafters）卸載至 AMD Strix 晶片，同時在兩張 RTX 4060 GPU 上維持張量並行（Tensor Parallel）的主權重運算。此配置使上下文視窗從 150k token 增加至 195k token，並獲得額外 2-3GB VRAM 用於上下文，且聲稱沒有效能損失。該使用者指出，混合 Nvidia 與 AMD 硬體透過 RPC 通常僅限於層分割模式（split-mode layer），但其成功維持了張量分割模式（split-mode tensor）的運作。為達成此配置，使用者合併了兩個 llama.cpp 的拉取請求（PR #26636 與 PR #27858 的移植版本），並應用一個本地補丁以強制 DFlash2 使用 CPU 選擇器，從而允許目標模型在 CUDA 張量並行下運行，同時將草稿模型固定於 RPC 遠端節點。此外，使用者利用 10Gbps USB 網路介面卡進行連接，並透過 AI 輔助修改驅動程式以支援該硬體。日誌顯示遠端 RPC 節點載入了約 1821.88 MiB 的模型緩衝區，並構建了 n_ctx 為 190208 的上下文。
事件背景
原文未提供關於推測性解碼、張量並行或 RPC 技術原理的獨立背景說明，僅描述了特定技術組合的實作結果與程式碼修改細節。
