使用者透過優化 llama.cpp 設定，特別是將 `-sm tensor` 改為 `-sm layer` 並調整批次大小，成功將 Qwen3.8-Flash-Next 在雙 RTX 3060 上的效能從 36 tps 提升至 400 tps。這項顯著的性能提升是在消費級硬體上有效管理 VRAM 用量的情況下達成的。 該基準測試使用了 125B MoE 模型的 UD-IQ4_XS 量化版本，其中 `-sm layer` 相比 tensor trap 大幅減少了預填時間。使用者指出，將 `-ubatch` 增加至 2048 是達到 400 tps 的關鍵，儘管在較大的上下文視窗中，效能上限受到限制。

事件背景

llama.cpp 是一個用於在本地運行大型語言模型的流行 C/C++ 函式庫，以其效率和對各種量化格式的支持而聞名。`-sm` 旗標控制張量如何在 GPU 層之間分割，而 `-ubatch` 則定義了處理 token 的物理最大批次大小。RTX 3060 是擁有 12GB VRAM 的熱門消費型顯示卡，常用於運行中等大小的模型。

社群觀察

社群成員指出，Linux（CachyOS）在預填速度上顯著優於 Windows。其他人建議使用如 ik_llama.cpp 的分支或啟用 moe-cache 以獲得更高的 token 生成速度，同時有些人對能在自己的系統上運行該模型感到興奮。