ServiceNow AI 推出了 AutoSynthData,這是一套能透過分析目標環境中的評估運行結果,自動為企業 AI 代理生成合成訓練資料的管線。此方法能識別目標模型的特定弱點,並將其與較強教師模型的成功示範相結合,以建立經過驗證的訓練任務。 此方法解決了企業環境中為複雜 AI 代理生成高品質訓練資料的關鍵產業挑戰,因為在這些環境中,人工標註通常既昂貴又低效。AutoSynthData 專注於模型能力邊界附近的任務,提供了一種可擴展的解決方案,能在無需大量人工干預的情況下提升代理效能。 AutoSynthData 將合成資料生成視為一種搜尋過程,旨在找到足以暴露模型弱點且足夠簡單以讓教師提供可靠示範的任務。該管線將目標代理的失敗案例與教師的成功案例結合,以建立這些經過驗證的合成訓練任務。

事件背景

企業 AI 代理在複雜且動態的環境中運作,需要精確的工具使用與決策能力,因此高品質的訓練資料對其成功至關重要。傳統的資料收集方法往往難以捕捉真實企業工作流程中細微的邊緣案例。AutoSynthData 利用「教師-學生」範式,透過在目標模型當前能力的極限處提供範例,由較強的模型引導目標模型的訓練。