OpenTPU 是一個由 AI 開發的開源 AI 加速器專案，旨在探討 AI 代理在硬體設計上的極限，以及它們能否構建運行自身推理的晶片。該專案將「auto-arch-tournament」的經驗應用於 AI 加速器設計，並作為一個端到端的學習資源，涵蓋從 SystemVerilog 硬體設計、指令集、位元精確模擬器、內核語言編譯器到驅動真實 PCIe 卡的主機軟體。
在 Inspur YPCB-00338 卡（搭載 Xilinx Kintex-7 xc7k480t FPGA 和兩個 DDR3 通道）上，OpenTPU 成功運行十種現代模型及其真實權重，且硬體產生的 token 與模擬器完全一致（bit-for-bit）。測試數據顯示，在 int8 或 4-bit 量化下，不同規模模型的解碼速度從每秒 3.78 個 token（Gemma 4 E4B）到每秒 85.8 個 token（LFM2.5-230M, 4-bit）不等。例如，LFM2.5-230M 在 4-bit 量化下的裝置端解碼速度為 85.8 tok/s，牆鐘時間為 82.1 tok/s；Qwen3-0.6B 在 int8 下為 21.6 tok/s。DRAM 頻寬使用率在解碼期間達到峰值的 82% 至 94%。
該設計採用簡化的架構，無快取且無隱藏調度，每個數據移動都是指令，使得追蹤能精確顯示週期去向。硬體包含一個序列器、DMA、矩陣單元（用於 int8 權重乘法）、向量單元（fp32 數學運算）和量化器。對於超過卡上 4 GiB 記憶體的混合專家（MoE）模型，如 LFM2.5-8B-A1B 和 Qwen3.5-35B-A3B，系統透過從主機儲存串流專家權重來運行，卡負責路由和計算，主機僅在需要時複製缺失的專家。LFM2.5-8B-A1B 達到 10.6 tok/s，Qwen3.5-35B-A3B 達到 3.95 tok/s。
4-bit 量化技術使用帶有兩級區塊縮放的 FP4 值，每權重 4.25 位元，並將 LM 頭保持為 int8 以維持準確性。這將每 token 的位元組數減少約三分之一，並將解碼速度提升 40%（Qwen3.5）至 45%（Qwen3, LFM2），但會帶來可測量的困惑度成本。主機介入極少，對於 LFM2 和 Qwen3，卡運行一個預編譯的解碼程式，主機僅增加 0.17 至 0.30 毫秒每 token 的延遲。
事件背景
OpenTPU 專案基於「auto-arch-tournament」方法論，該方法論此前已被用於開發 RISC-V CPU 核心。專案目標是讓 AI 代理在模擬環境中優化硬體設計，並驗證其能否設計出運行自身推理的加速器。社群討論指出，雖然標題宣稱 AI 能開發自身推理硬體，但實際上是由人類提示 LLM 建立軟體模擬環境，再由 LLM 在人類提示下針對約束進行優化。此外，討論也涉及將前沿模型燒錄到晶片上的經濟與物理挑戰，以及利用 FPGA 可重配置性設計模型架構的潛力。
社群觀察
社群對「AI 開發自身推理硬體」的說法提出質疑。用戶 mbgerring 指出，這並非 AI 自主開發，而是人類提示 LLM 建立硬體設計的軟體模擬環境，LLM 僅在人類提示下針對模擬中的約束優化設計。用戶 fsbonetto 補充說明，該技術沿襲自使用 AI 開發 RISC-V CPU 核心的方法，並提到透過recursive self-improvement loop，TPU 從每秒幾個 token 提升到小模型每秒 80+ token。用戶 pcarolan 詢問為何實驗室不直接將前沿模型燒錄到晶片上以獲得性能增益，用戶 athrowaway3z 則認為更有趣的問題是 AI 能否設計利用 FPGA 可重配置性的模型架構。用戶 rcarmo 則以幽默口吻提及對 AI 發展出「紅色發光眼睛的金屬骨架」的擔憂。
