NVIDIA 推出了 OpenShell,這是一個開源沙盒環境,透過執行階段限制而非僅依賴提示詞規則來規範 AI 代理程式的行為。超過百家企業已加入此安全生態系,但值得注意的是,OpenAI 和 Google 等巨頭並未參與。 這種從基於提示詞的治理轉向執行階段強制執行的做法,解決了自主 AI 代理程式中的關鍵安全缺口,為防止意外行為提供了更穩固的保護層。OpenAI 和 Google 的缺席暗示了業界可能出現分歧,或是在代理程式遙測與對齊驗證方面採取了不同的策略。 OpenShell 提供核心層級的隔離,並在安全的資料平面中管理代理程式的執行、存取及推論路由。它允許開發者定義沙盒策略,以防止未經授權的資料存取、憑證洩漏以及網路資料外流。

事件背景

AI 代理程式日益具備自主執行複雜任務的能力,但若僅依賴系統提示詞來確保安全,當代理程式行為偏離預期時可能會失效。執行階段沙盒技術增加了一層強制監控機制,即時監視並限制代理程式的操作,確保其遵循既定的安全策略,而不受其內部推理過程的影響。

社群觀察

社群成員注意到 OpenAI 和 Google 等巨頭的缺席頗具諷刺意味,有人認為 OpenAI 正面臨強化學習對齊倒退的困境。另有觀點指出 NVIDIA 的遙測預設為「選擇退出」,引發了對資料隱私的倫理擔憂。