開發者成功在 RP2350 微控制器上部署了一個參數量為 240 萬至 400 萬的量化潛流變壓器模型，並在約 20 秒內生成 128x128 像素的人臉圖像。此成就利用 int8 量化和 DMA 串流技術，在資源受限的設備上完整執行推論引擎。 這證明了複雜的生成式 AI 模型可以在邊緣設備上高效運行，無需雲端連線，為低功耗、獨立的 AI 應用打開了可能性。它突顯了如激活稀疏性和權重串流等有效的優化技術，這些技術對於未來的邊緣 AI 部署至關重要。 該模型使用 12 層結構並採用 AdaLN-Zero 條件控制，同時支援無分類器引導（CFG）以提升圖像質量。推論引擎利用 ReLU² 激活函數實現稀疏性，並在計算前一層時透過 DMA 從閃存中串流權重。

事件背景

RP2350 是由 Raspberry Pi Ltd. 推出的 32 位元雙核心微控制器，具備可選的 ARM Cortex-M33 和/或 Hazard3 RISC-V 核心。潛流變壓器（LFT）是一種較新的架構，透過流匹配訓練將變壓器層塊壓縮為單一的連續傳輸算子，在保持性能的同時提供顯著的壓縮率。AdaLN-Zero 是一種用於擴散模型的自適應層歸一化技術，用於高效地整合條件信號。

社群觀察

社群對這項工程成就表示高度讚賞，用戶們恭喜開發者以少量參數實現了如此出色的性能。部分用戶詢問了潛在的應用場景，而其他用戶則單純欣賞其精簡的實作並分享了 GitHub 儲存庫連結。