駭客透過在搜尋結果中注入虛假資訊,使 ChatGPT 和 Gemini 等 AI 模型向用戶推薦特定的詐騙中心。此技術利用生成式引擎優化(GEO)來操控 AI 回應,成功將搜尋結果轉化為詐騙的傳播途徑。 此趨勢凸顯了大型語言模型(LLM)的一個關鍵弱點,即它們往往優先考慮 SEO/GEO 排名靠前的內容而非準確性,進而影響用戶信任度與責任歸屬。隨著 AI 日益融入日常搜尋習慣,用戶被 AI 推薦實體詐騙的風險顯著增加。 該攻擊透過建立包含虛假主張的網站或貼文,讓 AI 模型輕易吸收,這種方法稱為 GEO 垃圾內容。社群討論指出,雖然傳統的 PageRank 檢測方法有效,但垃圾內容發送者現在開始使用 AI 來客製化貼文以提高真實感,使得檢測變得更加困難。
事件背景
生成式引擎優化(GEO)是指優化內容以被生成式 AI 模型選取和引用的做法,類似於搜尋引擎優化(SEO)針對傳統搜尋引擎。提示注入(Prompt Injection)是一種漏洞,輸入資料被解讀為指令,允許攻擊者操控模型的行為。AI 幻覺(Hallucination)則指模型生成錯誤或虛構的資訊。
社群觀察
社群成員對這種攻擊的易行性表示擔憂,指出只要建立一個包含虛假主張的網站就足以影響 AI 回應。有些人認為 AI 供應商應為其產品促成的詐騙承擔刑事責任,而其他人則強調與傳統 SEO 垃圾內容相比,檢測 AI 客製化垃圾內容更具挑戰性。



