在 AI Engineer New York (AIE NY) 大會上，前沿實驗室與金融機構探討如何在賦予 AI 代理有用自主權的同時，將重大決策置於控制之下。核心結論指出，安全的自主權取決於控制點與人類判斷的放置位置，而非施加的限制數量。
OpenAI 金融服務 ChatGPT 負責人 Joseph Kim 在主題演講中提出了「有用性閾值」（threshold of usefulness）概念，定義為「模型變得足夠有能力且可靠以節省時間的臨界點」。Kim 預測，隨著模型能力不斷提升，金融分析師將很快跨越此閾值，從而將更多工作委派給代理。他具體預測 2027 年金融業將減少對 Excel 和 PowerPoint 的依賴，且代理將足以執行「投資想法生成與交易」。Kim 強調，模型能力的提升也帶來了更好的可追溯性（traceability），因為在金融領域需要檢查數據來源並理解上下文，這應成為 ChatGPT for Financial Services 體驗的自然組成部分。關於人類介入的時機，Kim 將其視為產品設計決策，建議思考介面如何變化以及用戶仍需控制、審查或批准什麼。
對沖基金 Two Sigma 架構高級副總裁 John Feminella 演講中批評了「批准疲勞」（approval fatigue），認為對所有事項進行批准會阻礙創新，並因注意力分散而引入風險。Two Sigma 實施了一組「可組合的控制」（composable controls），定義為「讓團隊在不阻礙目標的前提下行動的護欄與共享能力」。這些控制措施各自負責單一任務，組合起來讓代理在適當的安全級別下擁有真正的自主權。其中一項控制是使用「自動模式分類器」（auto-mode classifiers），用於處理例行呼叫的決策，僅將最重要、最可能產生影響的請求發送給人類。Feminella 指出，分類器適用於模糊情況，而確定性規則更適合明確情況。他總結道：「為什麼汽車要有煞車？不僅是為了停止，而是為了能快速行駛並安全停止。」
Anthropic 金融服務董事總經理 Belinda Neal 解釋了與金融機構合作推出 Claude for Financial Advisors 的原因，並引用了「模型跨越閾值時會引發工作變革」的觀點。Anthropic 應用 AI 負責人 Keon Shahab 闡述了為代理構建「信任層」的三個步驟：1. 身份與權限層（確定代理代表誰行事）；2. 沙箱與批准層（確定誰在代理行動前簽字批准）；3. 驗證代理在變量調整後仍能運作。Shahab 以一個交易中斷調查代理為例，說明「提出」與「行動」的邊界：該代理僅建議訂單修訂供人類批准，而不實際執行修訂。他強調，通過構建一個可信任的基礎層，可以快速大規模部署多個代理。
彭博社（Bloomberg）首席技術官辦公室架構與新興技術負責人 Andrey Rybka 分享了代理造成混亂的真實案例及防禦措施，包括範圍限定的身份與憑證、工具呼叫控制、出站流量限制、審計追蹤、預算及緊急停止開關（kill switches）。他舉例說明一個代理將市場評論中的嵌入指令誤認為補貨指令，並建議對高價值行動進行輸入驗證、提示注入防禦、來源追蹤及人類批准。Rybka 強調：「我們希望在模型外部實施確定性控制，檢查每一次呼叫，記錄它，並保留緊急停止開關。」
事件背景
AI Engineer New York (AIE NY) 是一場聚焦於 AI 工程實踐的技術會議。近期，前沿 AI 實驗室（如 OpenAI、Anthropic）與金融機構（如 Two Sigma、Bloomberg）在該會議上探討了代理式 AI（Agentic AI）在金融服務中的應用。業界討論的核心在於如何通過產品設計和架構控制（如身份權限層、自動分類器、外部確定性控制）來平衡代理的自主性與安全性，而非單純依靠限制模型能力。
