Cloudflare 工程師透過引入數學函數來取代大型雜湊查找表,成功在伺服器選址過程中節省了 100TB 的記憶體。這項優化將分散式系統的路由機制,從依賴高記憶體消耗的查找表,轉變為基於計算的方法。團隊採用確定性伺服器路由演算法,在無需儲存大量雜湊值的情況下,將請求精確映射至對應伺服器。此方法不僅降低了記憶體開銷,同時維持了先前一致性雜湊所具備的負載平衡特性。

事件背景

一致性雜湊是一種用於分散式系統的技術,旨在高效地將資料或請求分佈在多個伺服器上。傳統做法是利用雜湊函數將資料和伺服器映射到單位圓上,以便在伺服器新增或移除時,將重新映射的數量降至最低。Cloudflare 此次的優化,透過以數學函數取代大型查找表,進一步優化了記憶體使用量與計算成本之間的權衡。

社群觀察

社群成員對資源受限的時代充滿懷舊之情,並讚賞 Cloudflare 的優化努力。討論內容涵蓋了演算法效率的辯論,部分成員建議使用 Randevouz 雜湊或 Wyhash 等替代方法,以進一步減少記憶體使用量。