核心功能與模型支援範圍

DeepInfer是DeepSeek-AI用於驅動其大規模生產服務的高性能推理框架，此次開源版本提供離線推理所需的核心功能。目前官方明確列出的支援模型僅為DeepSeek-V4.1-Flash。

該框架整合了多項底層優化技術，包括FlashMLA、DeepGEMM、DeepEP等自定義Kernel，以及針對注意力機制（Attention DP）、混合專家模型（MoE EP）的並行化處理策略。此外，它還支援結構化輸出（如JSON Schema或正則表達式約束）和確定性採樣功能。

硬體相容性與技術限制

DeepInfer目前僅支援兩類硬體平台：NVIDIA SM100 GPU與華為Ascend 950 NPU。這意味著使用者必須具備這兩種特定架構的硬體才能運行該框架。

值得注意的是，完整的推理服務還需要KV Cache系統、預填充/解碼分離（Disaggregation）以及跨資料複製的負載平衡機制，這些功能並未包含在本次開源發布中，儘管大部分引擎功能已實現。

社群觀點與市場影響

社群討論中引用了一則來自知乎的文章，指出基於此框架，DeepSeek V4.1 Flash服務達到了單集群每日155兆token的吞吐量，且離峰時段每張卡每小時營收為38美元。然而，這一數據並非直接來自GitHub官方技術文件，需謹慎看待其適用條件與統計範圍。

部分評論認為，支援華為Ascend 950 NPU並開源推理程式碼，可能對全球AI硬體市場產生重大影響，特別是有助於小型實驗室在相容硬體上構建堆疊，從而挑戰NVIDIA的市場主導地位。另有觀點將此視為中國策略性地將AI模型作為基礎設施開放以促進整體經濟發展的一環。

開發環境與建置要求

要從原始碼建置DeepInfer，系統需安裝Linux作業系統、GCC 13.0以上版本、Python 3.12以及CUDA 13（僅限NVIDIA）或CANN 9.2（僅限Ascend）。

預設情況下，執行離線推理時會自動從Hugging Face下載DeepSeek-V4.1-Flash-1017檢查點。使用者可透過設定環境變數指向本地副本來避免重複下載。