經過最佳化的推論基準測試顯示，在單張 AMD Radeon R9700 上運行 Unsloth 的 Qwen3.8 27B NVFP4 模型，在八個併發請求下可達每秒 470 個 token，性能較先前數據翻倍。此結果證明較舊且具性價比的 AMD 顯示卡能透過記憶體頻寬最佳化高效處理現代大型語言模型，讓硬體資源有限的愛好者也能輕鬆進行本地端推論。該基準測試使用 BetterBench 工具進行測量，顯示預填速度達每秒 3,619 個 token，並突顯增加併發請求如何降低單步權重讀取的過頭，直到記憶體頻寬成為瓶頸為止。

事件背景

NVFP4 是一種量化格式，可降低模型精確度以節省記憶體並加速推論，而 AMD Radeon R9700 是一張較舊的顯示卡，常應用於預算型本地 AI 環境。Unsloth 提供了最佳化函式庫，讓 Qwen3.8 等模型能在本地高效運行。

社群觀察

社群成員對結果感到驚訝並表示讚賞，指出在特定情境下其性能可與 RTX 5090 等新卡匹敵。使用者也欣賞詳細的併發性分析，該分析清楚說明了記憶體頻寬限制如何影響吞吐量擴展。