據《Gulf Coast Now》報導，佛羅里達州邦尼塔泉（Bonita Springs）一名 30 歲女子上月因涉嫌在與 Anthropic 聊天機器人 Claude 的對話中對當地執法部門發出威脅而被捕。逮捕報告顯示，該女子在與 Claude 的持續私人對話中，多次針對李縣警長辦公室（Lee County Sheriff’s Office）發出威脅。具體而言，她於 9 月 26 日凌晨 5:10 寫道：「我要現在就把警長給突突了 [髒話]。」隨後在 9 月 27 日凌晨 1:07 發送後續訊息稱：「這絕對是最後一次機會，我受夠了。我今天買了一把新的 [髒話] 槍。[髒話] 你。」
這些訊息據報被 Anthropic 的自動安全監控系統標記，該系統會在訊息達到特定風險門檻時通知人工審核員。人工審核員評估後認為這些訊息嚴重到足以通報執法部門，並確實進行了通報。當當局得知這些訊息後，迅速在該女子住所將其逮捕。她被指控犯有書面暴力威脅罪，這在佛羅里達州屬於二級重罪，最高可判處 15 年監禁及 10,000 美元罰款。據報導，她在被拘留過程中未發生任何事故。
李縣警長 Carmine Marceno 向 WINK News 表示，該女子向執法部門解釋她將 Claude 用作「日記」。然而，Claude 並未像她所認為的那樣完全私密運作。根據 Anthropic 的支持文件，公司通常不會回應政府請求而披露客戶或最終用戶資訊，除非遵循有效的法律程序，但存在一項例外：「如果我們認為存在可能導致 imminent physical harm（迫在眉睫的身體傷害）或死亡的緊急情況，且延遲提供資訊可能避免該緊急情況。」此情況似乎被 Anthropic 視為達到了該緊急程度。
Anthropic 未立即回應 Gizmodo 的置評請求。
事件背景
Anthropic 的支持文件指出，公司通常不會向政府披露用戶資訊，除非遵循有效的法律程序，但若認為存在可能導致迫在眉睫的身體傷害或死亡的緊急情況，且延遲提供資訊可能避免該情況，則存在例外條款。此事件提醒用戶，將聊天機器人視為治療師或私人記錄時，輸入的內容不僅可能用於訓練模型，在特定情況下還可能在未經用戶同意的情況下與執法部門共享。
社群觀察
社群討論中，用戶「Critical_Youth_9986」建議使用本地 LLM（大型語言模型）以保護隱私。用戶「DataGOGO」認為，如果 Anthropic 不報告可能會被起訴，立法者希望讓大型科技公司對人們的言論和行為負責。用戶「ourochurros」指出，標題中的「日記內容」需要解釋，因為該女子聲稱她已獲得一把槍並百分之百要射殺警長辦公室的人，這被標記並升級到人工審核，然後通知執法部門，Anthropic 在這種情況下別無選擇。用戶「Tricky-Piano-8695」評論稱雲端會記住一切，包括你不希望它記住的事情。用戶「DerJott」則強調了「佛羅里達女子」這一標籤。
