Paddock 開發團隊已將他們的 Rust 和 C++ 推理引擎開源，該引擎內建自訂 CUDA 核心，並支援 GGUF 和 safetensors 格式。早期基準測試顯示，在特定場景下（例如在單張 RTX PRO 6000 上運行 Qwen3.8-27B FP8），其效能優於 vLLM、SGLang 和 llama.cpp，其中對 llama.cpp 的加速比高達 37 倍。Paddock 目前僅支援 Windows 和 Linux 上的 NVIDIA CUDA，尚無 Mac 或 ROCm 支援，且缺乏張量平行（tensor parallelism）功能，因此模型必須能容納在單一 GPU 記憶體中。該引擎已通過 Blackwell 和 Ampere 架構驗證，但在 Ada 架構上運行需設定 PADDOCK_UNVALIDATED_ARCH=1。

事件背景

LLM 推理引擎是用來載入訓練好的模型並生成文字回應的軟體系統，其效能高度取決於 GPU 記憶體和運算資源的使用效率。張量平行（tensor parallelism）是一種將模型張量分割到多個 GPU 上的技術，用於處理超過單一 GPU 容量的大型模型；而 GGUF 和 safetensors 則是用於儲存模型權重的熱門格式，能實現高效載入和量化。

社群觀察

社群成員詢問了 Windows 相容性和 INT8 支援情況，並指出缺乏張量平行導致只能單 GPU 執行的限制。大家也關注該引擎處理上下文視窗邊界和 KV 快取配置的方式，並建議在報告批次大小指標時一併提供最大上下文限制。