使用者透過軟體調校，成功在兩張華為 Atlas 300I Duo 卡上最佳化 Qwen3.8-flash-next 的推論效能。經過調整後，單請求速度從每秒 1 個 token 提升至約每秒 30 個 token，並產出連貫內容。該設定以高併發能力完成了 GPQA Diamond 基準測試。
硬體方面，兩張 Atlas 300I Duo 卡列舉為四個 Ascend 310P3 裝置，每裝置擁有 96 GB 記憶體。關鍵最佳化工作集中在軟體堆疊，包括 Ubuntu 26.04 驅動程式支援、記憶體配置調整、自訂運算子，以及在 vLLM Ascend 後端中精確處理異步狀態轉換。這些努力證明了非 CUDA 硬體在適當最佳化後，也能為現代大型語言模型提供可用效能，成為 NVIDIA 顯示卡的经济实惠替代方案，同時展現了 vLLM Ascend 外掛程式的成熟度以及 CANN 生態系統在本地 AI 部署上的潛力。
事件背景
華為昇騰 NPU 是旨在與 NVIDIA 顯示卡競爭的 AI 加速器，使用 CANN（神經網路計算架構）軟體堆疊而非 CUDA。Atlas 300I Duo 是一張包含兩個 Ascend 310P3 晶片的 PCIe 卡，為推論任務提供大量的記憶體頻寬。vLLM 是一個流行的高吞吐量推論引擎，最近透過可插拔外掛程式為昇騰硬體增加了社群維護的支援。
社群觀察
社群成員讚賞這份詳細指南，但也指出軟體最佳化的學習曲線較陡峭。部分人對其成本效益表示興趣，並詢問是否會公開程式碼修改內容；另一些人則認為如果價格進一步下跌，這將成為 Apple Silicon 或 Intel Arc 硬體的另一種潛在選擇。
