Google AI Edge 團隊宣布開源發布 ML Drift,這是一個採用 Apache 2.0 授權的高效能、跨平台裝置端 GPU 計算引擎,專為裝置端 AI/ML 推理而設計。該引擎透過抽象化 OpenGL ES、OpenCL、Metal 和 WebGPU 等硬體與底層 API 的複雜性,賦能開發者在多平台上構建從先進視頻特效到生成式 AI 的即時互動機器學習體驗。ML Drift 作為 LiteRT 內部的核心 GPU 加速引擎,同時也可作為獨立函式庫提供,為自定義圖形和推理運行時提供統一基礎,以在各處實現峰值效能。

事件背景

根據原始來源,ML Drift 是 LiteRT 的核心 GPU 加速引擎。原始來源提供了 LiteRT 的連結(developers.google.com/edge/litert),但未在提供的文字片段中明確定義 LiteRT 的具體性質或支援硬體類型。原始來源亦未提供關於 LiteRT 歷史名稱或 WebGPU 技術細節的額外背景資訊,因此僅保留來源明確提及的關聯。

社群觀察

社群討論聚焦於性能聲稱與技術選擇。用戶 Chromix_ 指出,真正的亮點在於官方聲稱「相對於現有開源 GPU 推理引擎實現了數量級的性能提升」,但批評其博客主要展示移動平台數據,缺乏與 vLLM、llama.cpp 等在 CUDA 和 Vulkan 上的比較。用戶 IngwiePhoenix 對僅支持 Metal、GL/GLES 和 Vulkan 的技術選擇表示好奇,並質疑為何要開發新工具而非使用現有解決方案。用戶 siete82 詢問該工具是否僅為 llama.cpp 的替代品。用戶 GradatimRecovery 則對 LiteRT 在 iOS 上的表現給予正面評價。