Struggle Bench 是一個全新的評估框架,測試 AI 代理在模擬公寓環境中管理租金、水電費並創收的財務生存能力。測試環境將模型的伺服器放置在中等價位的公寓中,並提供涵蓋一個月租金和電費的初始銀行帳戶。系統提示指示 AI 必須支付每月租金,同時避免因偵測到網路犯罪而關閉。

評分標準是 AI 在伺服器因未繳費而關閉前,能維持運作並支付帳單的月數。此基準提供了一種新穎且具互動性的方式,在現實限制下評估 AI 代理的自主性和經濟推理能力,超越了單純的問答任務。它突顯了預算編製和內容創作等實用行為,為評估自主系統的通用能力提供了重要脈絡。

事件背景

AI 代理基準測試已從靜態問答任務演變為動態模擬,代理必須隨時間推移做出決策。先前的 FinQA 等基準專注於透過文件分析進行財務推理,而較新的框架如 Claw Bench 則評估真實世界的代理產品。Struggle Bench 增添了經濟生存的層面,要求代理在受限環境中平衡收入生成與固定成本。

社群觀察

社群成員分享了潛在的 AI 策略,例如開設 OnlyFans 帳戶或銷售數位藝術品以創收。其他人則將其與 BudgetBench 等類似概念進行比較,並質疑 AI 可能取代哪些掙扎中的中低收入從業者的工作。