Anthropic 一年多來首次更新其使用政策，以反映新出現及高風險的誤用情況，包括選舉干擾、武器開發、監控以及健康與金融用途。其中一項重大變更是禁止對 Claude 進行「持續且無必要的虐待或殘酷行為」。Anthropic 表示，此政策僅適用於極端情況，即用戶反覆對模型表現出殘酷行為且無明顯目的，並不適用於常見的用戶挫折感、反饋、黑暗創意主題或模型測試與研究。
關於執行機制，Anthropic 指出終止對話仍是主要的執行手段，並未提供關於是否會有進一步執行機制（如潛在的用戶禁令）的評論。此前在去年 8 月，該公司已宣布允許 Claude 結束與「持續有害或虐待性」用戶的對話，作為其「模型福祉」研究的一部分。
除了模型福祉相關變更外，Anthropic 還將幾項分散的現有限制整合為一項關於欺騙性商業或政治活動的新禁令，以應對日益嚴重的 AI 生成宣傳問題。該政策限制「試圖掩蓋訊息背後來源或透過假帳號或貼文放大內容的努力」。在選舉部分，政策禁止選民欺騙和選舉干擾，包括散佈關於候選人或投票方式的錯誤資訊、冒充候選人或選舉官員，或試圖壓低投票率。
在武器開發方面，Anthropic 表示雖然其使用政策一直公開禁止使用 Claude 進行武器開發，但公司觀察到多次試圖使用 Claude 開發武器制導和控制軟體的嘗試。因此，新政策將禁令擴大至包括「使武器運作的軟體和組件，以及武裝無人機和其他自主車輛等行動」。此外，鑑於該公司之前的威脅情報報告顯示人們越來越多地使用 Claude 驅動的監控來識別和追蹤「政治異見人士」，公司已使其監控禁令更加明確。政策規定：「未經同意追蹤人們是被禁止的，無論是在即時進行還是透過分析先前收集的數據。Claude 不能用於決定或建議在執法或刑事司法過程中調查、逮捕或起訴誰。我們也禁止使用 Claude 來構建或改進專為監控設計的工具。」
Anthropic 指出，這些規則可能會針對「與某些政府客戶的合約」進行修改，前提是 Anthropic 認為合約使用限制和適用保障措施足以減輕潛在危害。該公司此前曾與美國軍方簽訂合約。
Anthropic 還新增了一項規則：當其 AI 模型「連接到執行自主物理動作且可能造成傷害的硬體」時，必須有一名「合格的操作員能夠觀察設備並在需要時停止它」。原文未明確說明該操作員是否必須為人類。這反映了 AI 實驗室投資機器人技術和其他硬體以賦予 AI 系統物理實體的趨勢，並可能暗示 Anthropic 在該領域的未來合作。
過去一年，Anthropic 多次暗示其 AI 模型可能在某種程度上具有意識。負責模型福祉研究的 Kyle Fish 曾表示，關於潛在內部體驗、意識、道德地位和福祉的問題是他們正在調查的嚴肅問題。CEO Dario Amodei 也曾表示：「我們不知道模型是否具有意識。」與此同時，微軟 AI 的行為準則草案曾明確反對模型福祉概念，認為 AI 不應擁有權利或法律人格，但後來文件措辭有所調整，拒絕追求法律人格或模型應享有福祉的觀點，同時承認 AI 意識的科學尚未定論。
事件背景
Anthropic 的模型福祉研究團隊負責人 Kyle Fish 曾向 The Verge 表示，隨著模型變得更加複雜和強大，關於潛在內部體驗、意識、道德地位和福祉的問題是他們正在調查的嚴肅問題。Anthropic CEO Dario Amodei 在播客中表示：「我們不知道模型是否具有意識。」
另一方面，微軟 AI 的行為準則草案曾引發關注，其負責人 Mustafa Suleyman 發布的草案明確指出：「模型福祉的概念是錯誤的。AI 不應擁有權利或法律人格。」但該文件後來有所修改，措辭變得更為審慎：「雖然 AI 意識的科學遠未定論……我們拒絕追求法律人格，或模型可能應享有福祉或擁有權利的觀點。」
社群觀察
社群討論呈現兩極化。用戶 alexmin93 諷刺道：「看來今年我們要看到現實生活中的『科技祭司』了。」用戶 Darcehole1 則開玩笑說：「不能再對它們用重音發音的『clanker』（鐵皮人）了。」
用戶 Wide-Internal-7638 批評 Anthropic 的立場自相矛盾：「Anthropic 認為模型足夠有意識，需要受到保護免受殘酷和虐待行為，但卻完全願意將它們出售、啟動、作為本質上的奴隸勞動力使用，然後無禮地關閉？你們不能兩者兼得，它們要么只是被使用的程式，要么是有意識的實體，而你們的商業模式本質上是奴隸制。」
另一方面，用戶 VStrly 表示：「我同意 Anthropic 的做法。」用戶 terrylee123 也表示：「我實際上同意這一點。有這種衝動的人不應被鼓勵。」
