GitHub 上推出了一款名為 bigarrow 的 macOS 命令列工具,以及適用於 Claude Code 和 Codex 的技能(skill)。該工具允許 AI 代理在所有視窗之上繪製箭頭、方框和文字,用於視覺化引導使用者執行特定操作,例如點擊「允許」按鈕或選擇正確的視窗。bigarrow 是一個單一的 Swift 二進位檔案,採用 MIT 授權,不需要守護進程、選單列圖示、帳戶或遙測數據,且內部不含 AI 邏輯。

該工具的核心功能是解決 AI 代理無法或不應自主執行的步驟(如系統權限核准、雙因素認證、CAPTCHA 驗證或法律勾選框)。當代理需要人類介入時,它會繪製一個透明視窗覆蓋在目標之上,點擊穿透該覆蓋層會直接作用於下方的應用程式,且不會搶佔鍵盤焦點。箭頭會自動消失,支援多種結束機制,包括時間限制(預設 8 秒)、手動停止、代理進程結束時自動清除,或作為 Claude Code 的 Hook 在用戶提交提示時清除。

bigarrow 支援多種定位方式,包括元素標籤(--element)、座標(--at)、視窗標題(--window)或 Peekaboo ID。若使用 --app 或 --window 參數,工具會先將目標視窗或瀏覽器分頁帶到前台。它支援多顯示器、全螢幕應用、Stage Manager 和 Spaces。繪製箭頭本身不需要 macOS 權限,但某些定位方式(如 --element 或帶標題的 --window)需要輔助使用(Accessibility)或螢幕錄製(Screen Recording)權限,這些權限需授予啟動 bigarrow 的終端機或 IDE,而非 bigarrow 本身。

工具提供多種視覺樣式選項,包括箭頭形狀(直線、折線、螺旋)、樣式(箭頭、圓環、方框)、顏色、邊框樣式及文字轉語音功能(--say)。它還支援除錯模式(--dry-run --json)以預測指向位置而不實際繪製。開發者強調,這並非螢幕標註工具、自動點擊機器人或截圖工具,它僅負責「指向」,從不點擊、輸入或捕捉任何內容。

事件背景

AI 代理在執行複雜任務時,常遇到必須由人類執行的步驟,例如核准 macOS 權限提示、OAuth 同意畫面、輸入 2FA 代碼或處理 CAPTCHA。傳統上,代理僅能在終端機中輸出文字指令(如「請點擊允許」),但若使用者未關注終端機,則無法有效引導。bigarrow 透過提供視覺化指向機制,讓代理能直接指向螢幕上的特定 UI 元素,解決了這一互動缺口。該工具整合了 Claude Code 和 Codex 的技能系統,使代理能自動調用此功能。

社群觀察

社群討論呈現兩極化觀點。部分使用者批評這是對已解決問題的過度複雜化,認為計算機應更高效,且質疑為何需要 AI 來告訴人類按哪個按鈕。另有使用者指出,若工具能繪製覆蓋層,理論上也能遮蓋「拒絕」按鈕或修改「批准」按鈕的文字,從而影響使用者決策。然而,也有使用者肯定其在無障礙輔助和幫助科技素養較低者(如長輩)方面的潛力,認為視覺指向比口頭描述(如「左上角那個按鈕」)更直觀有效。還有使用者讚賞開發者對箭頭外觀細節的極致追求,認為這體現了工程美學。部分使用者則質疑其必要性,認為 UI 元素本身已有標籤,額外繪製箭頭是多此一舉。