近期出現了一類極度窄化的推理執行環境（inference runtimes），包括 Strata、ninfer、DwarfStar、Splash、llamAmpere 和 gufo 等。這些引擎刻意放棄了 llama.cpp 或 vLLM 等通用引擎所擅長的「通用性」，轉而針對少數特定模型，有時甚至僅針對單一硬體家族（例如 AMD Strix Halo）進行優化。

這種趨勢預示著未來的常態將是：使用通用執行環境以確保相容性，同時使用可拋棄式的「過度擬合」執行環境以追求最大效能。這種做法有助於智慧運算（包括模型與執行環境）的去中心化與普及化，並能在不追求程式碼優雅或結構完美的前提下，從現有硬體配置中提取最大的輸出效能。

原文作者對此趨勢表示好奇，並詢問社群是否認為這將成為未來的標準做法。

事件背景

通用推理引擎（如 llama.cpp 和 vLLM）的設計目標是支援多種模型與硬體以確保廣泛的相容性，這往往導致在特定硬體配置上的效能並非最佳。「過度擬合」引擎則犧牲了這種廣泛的相容性，轉而針對單一目標進行高度調校的優化，以從現有硬體中提取更多輸出。

社群觀察

社群討論中，用戶 toomanypubes 認為未來本地模型將能針對用戶的特定硬體自動構建最佳化引擎，目前僅是人類主導的嘗試，未來將成為預設行為。用戶 BreakfastNew1039 表示，若能讓 AI 自動針對特定硬體優化推理並提升 100% 的 TPS（每秒 Token 數），則值得採用。

用戶 Garblyx 指出，雖然不喜歡這種情況，但這是硬體生態多樣性帶來的不可避免結果，認為不存在能優化所有平台的「神話級」通用引擎。用戶 buttplugs4life4me 則認為，這是因為通用引擎在面對模型與硬體數量爆炸時開始崩解。他舉例指出，被視為「專業」引擎的 SGLang 存在多個問題，包括不支持最常見的 Qwen35 架構的 GGUF 格式、不支持混合非區塊模型量化、未優化 MXFP8/MXFP4 格式、不支持混合 KV 快取等。