開源範圍與技術架構：分離預填充與解碼階段
DeepInfer是DeepSeek內部推理框架的開源版本，主要基於vLLM、SGLang和TRT-LLM進行客製化開發。雖然官方宣稱「完全開源」，但技術報告指出，KV Cache管理與負載平衡組件因與內部基礎設施緊密耦合，尚未完全釋出。這意味著使用者可以獲得推理引擎核心，但服務層級的編排仍需自行處理。
架構上，DeepInfer將視覺編碼、預填充（Prefill）和解碼（Decode）三個階段分離，允許各階段針對自身瓶頸獨立擴展。官方建議的部署形態為：預填充使用普通的8卡機器，解碼則使用64至128卡的超節點（Supernode）。解碼階段採用寬廣的專家並行（Wide Expert Parallelism）來分配MoE專家參數，同時維持大的有效批次大小。
調度策略上，預填充排程並非僅依據請求長度，而是估算注意力計算成本來分配工作負載，並動態調整區塊大小以符合時間預算。由於快取前綴存放在共享儲存中，請求可路由至任何可用工作者，而不必綁定於先前處理該前綴的節點。解碼路由則同時平衡運行中的請求數量與KV Cache長度，以兼顧排程壓力與記憶體狀態壓力。
快取機制與吞吐量數據：高命中率下的成本結構
DeepInfer的核心優勢在於其快取層級設計。持久化的區塊KV Cache存放在獨立的3FS儲存叢集中，擁有約100 PiB的SSD容量。報告指出，代理（Agent）流量的保留時間為三天，聊天機器人流量則為七天。這種長效期快取允許任何預填充工作者檢索已快取的前綴，從而將快取局部性與計算放置解耦。
官方公布的生產數據顯示，單一叢集每日處理155兆個詞元，輸入快取命中率高達96%，平均首詞延遲（TTFT）為400毫秒，生成速度為230 tokens/s（編碼場景可達300 tokens/s）。然而，這些吞吐量數據必須結合高快取命中率來解讀：155兆詞元/日並非全部新生成的詞元，其中大部分是重複使用的快取內容。
針對短生命週期的滑動視窗注意力（SWA）狀態，DeepInfer採用「SWA Bounded Replay」技術，僅從最新的128個詞元重建缺失的短期狀態，並重用持久化區塊快取。DeepSeek宣稱這能將總預填充計算量減少近一半。此外，系統還採用了DSpark自適應投機解碼，根據預測的草稿詞元接受機率動態調整驗證長度，據稱比固定驗證五個草稿詞元的基線提升6%的生產吞吐量。
經濟效益估算：高毛利宣稱與外部質疑
DeepSeek披露在離峰價格下，每張加速卡每小時產生38美元的營收。基於此數據及約5至8美元/卡的綜合成本估算，外界推算其推理毛利率超過80%。若以此推算，叢集的投資回收期約為81天。然而，這些計算僅涵蓋GPU租賃成本，未包含SSD快取叢集、CPU、網路、閒置備援容量、故障處理及工程支援等其他營運開支。
外部分析師對利潤率估算進行了修正與質疑。有觀點指出，若考慮更嚴格的硬體成本（如7美元/小時），毛利約為81.6%；若成本範圍在5至10美元/小時，毛利則落在73.7%至86.8%之間。這些數字高度依賴於極端有利的詞元混合比例（97%快取輸入、2%非快取輸入、1%輸出）。此外，DeepSeek並未披露產生該營收數據的具體GPU型號與數量，因此難以進行獨立的財務審計。
市場觀點分歧：部分人士認為這證明推理服務已跨越獲利門檻；另一派則預期隨著令牌價格下降和算力成本上升，回報率將被壓縮。對於Moonshot/Zhipu等託管協議的競爭影響，雖然直覺上開放可部署的堆疊能改善供應商經濟性，但也可能加劇價格競爭，目前尚無實測數據支持具體影響幅度。
vLLM團隊回應：吞吐量差距在6%以內
針對DeepInfer的開源與性能宣稱，vLLM團隊發布了技術對比報告。vLLM承認DeepInfer最初主要基於vLLM構建，並感謝DeepSeek採用Apache 2.0授權及貢獻。在GB200硬體上進行匹配配置測試後，vLLM報告其解碼吞吐量與DeepInfer公布的結果差距在6%以內。
vLLM強調，這一結果僅代表解碼階段的性能對等，並未複製DeepSeek整體服務的能力，包括100 PiB的快取操作、保留策略經濟性、路由邏輯或生產環境下的可用性。此外，每GPU每秒100萬詞元的吞吐量數據不能直接等同於每個用戶的生成速度，因為該基準測試包含了輸入/快取/輸出的不同計費與計算方式。
vLLM發布了AgentX結果及復現配方，這實質上削弱了「只有DeepSeek能實現此效率」的說法。雖然這是競爭對手團隊的自我報告，但公開的InferenceX結果和配方提高了可重複性。這表明DeepInfer更多是將生產環境的學習經驗回饋到現有開源生態系統中，而非一個完全獨立且不可取代的替代品。
硬體相容性與模型效能：NVIDIA與華為昇騰
DeepInfer支援NVIDIA和華為Ascend平台。有分析比較了GB200與Ascend 950DT的解碼數據：在100 TPS約束和131K上下文長度下，兩者吞吐量分別約為25.5K與5K tokens/s/device；在230 TPS下，差距擴大至約7.4倍。然而，這些比較基於不同的測量條件、假設的採購價格以及未經證實的未來優化增益，並非嚴格的 apples-to-apples 基準測試。
關於V4.1-Flash模型本身的效能，Arena評測顯示其在Agent Arena和Code Arena: WebDev中排名第一（開源模型），但在整體Agent Arena排名第11。報告稱其實際任務成本為0.20美元/任務，約為GPT-6.1 Sol成本的27%，但僅達到其改進幅度的37%。在網路安全測試中，V4.1 Flash在某些模擬任務上超過GPT-6 Sol的平均進度，但使用了數倍的詞元量和時間，且最佳單次運行結果仍不及Sol。
社群對模型能力的評價不一。有非正式測試顯示其在知識問答和變體拼寫測試中表現優於MiniMax等競品，但这些是小規模、作者構建的測試，缺乏標準化基準驗證。另有觀點指出，DeepSeek在某些評估上仍遠低於Sol-xhigh。本地部署方面，TrellisMX K2 Mix針對兩張RTX PRO 6000進行優化，但僅測量了KLD（KL散度），任務質量保留率和實際速度尚未確立。
