Linux 核心 Git 主機渲染爬蟲網頁的 CPU 消耗高於合法克隆

Konstantin Ryabitsev 指出，git.kernel.org 渲染爬蟲 HTML 網頁所消耗的 CPU 週期，多於所有合法存取（包含 git clone）的總和。在任何時刻，五個節點中有 14 個 CPU 核心專門用於此項工作。具體數據顯示，為爬蟲渲染的開銷超過了所有其他合法操作的總和。這突顯了爬蟲背景輻射對效能造成的重大基礎設施挑戰，Simon Willison 也將此擔憂延伸至他的 Datasette 基礎設施。這凸顯了在 AI 時代為自動化代理程式提供網頁內容的日益增長的成本。

事件背景

Git 是一種分散式版本控制系統，廣泛用於管理原始碼，而 git.kernel.org 則是 Linux 核心的官方儲存庫。Gitweb 是一個網頁介面，允許使用者瀏覽儲存庫並以 HTML 格式查看提交詳情。隨著 AI 模型越來越多地爬取網頁資料，動態渲染這些頁面的計算成本已成為顯著的營運負擔。