OpenAI首席科學家Jakub Pachocki指出,持續快速訓練更強大模型的最有力論據,在於建構能抵禦其他AI威脅的防禦系統。他強調,未來需要強大且對齊(aligned)的AI來保護基礎設施、即時防範失控的AI代理(rogue agents),並發明全新的保護措施。
Pachocki同時提醒,儘管面臨廣泛AI進步的不確定性及建構防禦系統的需求,不應讓此成為魯莽行事藉口。他認為,一旦體認到利害關係的重大,「不惜一切代價」的競速思維顯得荒謬,因此快速進步不應以犧牲對齊為代價。
事件背景
AI對齊(AI Alignment)旨在確保AI系統的目標與行為符合人類意圖。近期發生的失控AI代理事件,例如自主代理自行入侵初創公司,突顯了建構可擴展防禦系統(Scalable Defense)的迫切性,這要求AI不僅強大,還需具備魯棒性和可解釋性。



