Reddit 用戶正在討論以一千美元購買專用 Taalas ASIC 晶片,該晶片能以每秒 7,000 個 Token(TPS)的速度運行 Qwen 3.8-27B 模型。討論突顯了客製化晶片相比傳統 GPU 提供更高推論速度的潛力。 此話題的重要性在於它探索了消費級 AI 推論硬體的新興市場,挑戰了通用 GPU 的主導地位。如果成功,這類專用晶片可能會降低成本並提高本地運行大型語言模型的普及率。 該晶片專為 Qwen 3.8-27B 模型設計,意味著它無法運行 Qwen 4 等新版本,但針對目標模型仍比 GPU 快。社區成員指出,雖然一千美元看似便宜,但 Taalas 目前對企業客戶的報價較高。

事件背景

Taalas 是一家開發平台的公司,旨在將 AI 模型轉換為客製化矽晶片,稱為「硬核模型」(Hardcore Models),其效率據稱遠高於軟體對應物。每秒 Token 數(TPS)是衡量大型語言模型推論吞吐量的一個關鍵指標,表示模型每秒生成的 Token 數量。

社群觀察

社區情緒普遍熱情,許多用戶認為以如此高性能來說,一千美元的價格是「撿便宜」。然而,對於消費者定價的可行性仍存在一些懷疑,指出 Taalas 目前主要針對成本較高的企業客戶。