研究人員 Divyansh Agrawal 推出了「Qwenputer」,這是一個基於標準 Qwen 3.5 4B 模型的實驗性專案。其核心創新在於將一個 32 位元 RISC-V CPU(支援 RV32IM 指令集及 Zba 擴充)直接編譯進模型權重中,並利用模型自身的 Gated DeltaNet (GDN) 注意力層作為隨機存取記憶體 (RAM)。這個「CPU」完全在模型的前向傳播過程中運作,無需任何外部執行環境、工具調用或沙盒即可執行算術運算、C 語言及 MicroPython 程式碼。

技術實現上,Qwenputer 通過將 GDN 層的閘門設為 1、寫入強度 (beta) 設為 1,並使用 one-hot 鍵編碼,使得每次寫入僅覆蓋狀態矩陣中的一行,從而實現精確的記憶體存取。這使得 GDN 層能作為低成本且大小固定的 RAM 運作,不受對話長度影響。CPU 佔用了 Qwen 32 層模型前的額外 11 層,通過將電路步驟編譯為 Transformer 層的權重來執行指令。Qwen 透過模擬工具調用格式向 CPU 發送指令並讀取結果,但實際上這些操作均在模型內部完成。

性能測試顯示,Qwenputer 在 DeepMind 和 NUPA 的算術基準測試中表現優異。例如,在 div_big 測試中得分 97.5%,高於使用 Python 工具的 Qwen (95%) 和基礎 Qwen (72.5%);在 mul_div_multiple_longer 測試中達到 100% 準確率。此外,作者還為其實現了一個基於 DeltaNet 狀態的實驗性檔案系統,支援 put/append/get/list/delete 操作,可儲存最多 512 個檔案(約 53,000 tokens),並能在對話間持久化保存。該專案已開源,可在 Hugging Face、ModelScope 和 GitHub 上獲取。

尚待確認:Qwenputer 目前需要一個名為 RvChat 的小型驅動程式來載入韌體並管理追蹤 token,尚無法直接通過標準的 generate() 呼叫運行。

尚待確認:執行速度較慢,每個 CPU 指令需消耗幾個解碼 token,大規模計算需數秒而非毫秒;在 L4 GPU 上的批次執行器約為每秒 3,200 CPU tokens。

尚待確認:模型檢查點大小為 18.8 GB,約為基礎 Qwen 的兩倍,但大部分為零填充。

尚待確認:檔案系統功能仍處於實驗階段,代碼位於 rv-store 分支。

事件背景

Qwen 3.5 模型採用了混合架構,其中四分之三的注意力層使用 Gated DeltaNet (GDN),這是一種線性循環神經網路 (RNN)。與傳統 Transformer 的 KV Cache 不同,GDN 的狀態矩陣大小固定,不隨序列長度增加而膨脹。先前研究(如 Schlag et al., ICML 2021)已指出線性注意力結合 delta rule 可作為關聯記憶或「快速權重」使用,但 Qwenputer 是首個在生產級模型中實現精確、可尋址記憶體並運行完整 CPU 的案例。

社群觀察

社群對 Qwenputer 的創意表示高度興趣與讚賞。用戶 tiborsaas 稱讚其「有趣且瘋狂」的精神,並戲謔地提到 AI 代理可能會用它來做不合適的事情(如折紙夾)。用戶 jerrythegerbil 則幽默地聯想到關於 Qwen 有「邪惡神經元」的傳聞,希望讓「邪惡 Qwen」成為 CPU。用戶 low-rank 分享了一個連結,暗示該系統可能可以運行 DOOM 遊戲。用戶 giveexamples 提到了 Percepta.ai 之前將 WASM 實現在 Transformer 中的相關研究。用戶 jazzyjackson 對檔案系統如何通過哈希槽位和鏈式存儲在 LLM 中實現感到着迷,並好奇開發者是否因這些大膽實驗而獲得報酬。