模型分割策略：區分線性與密集注意力層的記憶體需求

以擁有約 3 兆參數的開源模型 Kimi K3 為例，該模型包含 69 個線性注意力層與 24 個密集層。若採用 4-bit 權重量化，每個層的原始參數負載約為 16 GB。

由於 Cerebras WSE-3T 晶片具備 44 GB 片上 SRAM，系統可將整個模型層直接放入單片晶片，無需拆分層級或移動權重。

密集注意力層因需儲存每個請求中所有 token 的鍵值（KV Cache），故每片晶片僅放置一個密集層，剩餘空間用於 KV Cache。

線性注意力層僅維護固定大小的狀態，不需大型 KV Cache，因此每片晶片可容納兩個線性層（2 × 16 GB = 32 GB）。

硬體配置計算：59 片晶圓支撐 3 兆參數模型

根據上述分割邏輯，處理 Kimi K3 的 69 個線性層需 35 片晶片（每片兩層），24 個密集層需 24 片晶片（每片一層）。

總計需要 59 片 WSE-3T 晶圓才能完整載入該模型。此配置假設平均請求大小為 256k tokens，並使用 8-bit KV Cache。

Cerebras 強調，這種架構允許模型權重靜態駐留在晶片上，僅在推理過程中傳輸中間計算結果（activations）。

晶片間通訊與管線化執行機制

Cerebras 編譯器將模型層映射至不同晶圓區域後，運行時系統會建立 token 在晶片間的流動路徑。

晶片間透過 RDMA over Ethernet 傳輸激活值，每跳延遲約為 2 微秒，以確保超低延遲。

執行過程類似組裝線：第一片晶片處理前兩層並將結果傳給第二片，依此類推直至最後一片生成下一個 token。

並行處理與吞吐量優化策略

為避免單一請求導致其他晶片閒置，系統採用管線並行技術，讓不同請求同時在不同階段運算。

每個階段可處理一個微批次（micro-batch），即一小組請求。在途請求數量約等於階段數乘以微批次大小。

較小的微批次能提升單一請求的速度，而較大的微批次則增加總吞吐量。系統需在兩者間取得平衡。

並發請求限制與效能評估指標

最大並發請求數受片上記憶體中分配給 KV Cache 的空間限制。每個密集層晶片需為每個在途請求保留獨立的 KV Cache 空間。

以 44 GB 晶片扣除 16 GB 模型權重後，剩餘 28 GB 可用於 KV Cache。系統透過計算單一 256k 請求所需的快取大小來推算最大並發數。

Cerebras 指出，評估推理系統效能時，更有意義的指標是在相同輸出速度下的每瓦特 token 吞吐量（tokens per second per megawatt），而非單純的並發數或批次大小。