Trakkr Research 針對 ChatGPT、Perplexity、Gemini、Claude 及 Google AI Overviews 五款 AI 助手進行研究,詢問了 200 個需要具體數字的問題。研究團隊隨機抽取各助手引用的共 1,285 個統計數據(ChatGPT 108 筆、Perplexity 277 筆、Gemini 300 筆、Claude 300 筆、Google AI Overviews 300 筆),並追蹤其引用鏈條,最多深入五層頁面以尋找原始研究。

結果顯示,僅 40% 的統計數據最終能追溯到證實該數字的原始研究。另有 8% 雖然找到了研究,但數字或脈絡(如調查對象、時間、地點)已發生改變。其餘數據無法驗證:40% 停在無法檢查的來源(如付費牆後、連結失效或未提及具體數字),11% 則完全找不到任何研究支持,僅在無引用的頁面間重複流傳。

在各助手的表現上,ChatGPT 引用數字最少(每答覆平均 1.3 個),但溯源成功率最高,達 57%。Perplexity 為 46%,Google AI Overviews、Gemini 及 Claude 則落在 38% 至 39% 之間,差異在統計誤差範圍內,無法明確排名。

研究發現,AI 引用來源的類型對溯源成功率影響顯著。若引用來自研究機構或政府頁面,61% 能成功追溯到匹配的研究;但若引用來自公司部落格(佔所有引用的 54%),僅 37% 能追溯成功;統計數據彙整頁面的成功率更低至 35%。這意味著 AI 引用來源往往並非原始研究,而是轉述其他來源的二手資訊。

此外,即使找到原始研究,數字本身也可能失真。在成功追溯到研究的案例中,17% 的數據內容已改變,其中僅約四分之一是數字本身的變動,多數是脈絡錯誤(如調查年份、對象或測量指標改變)。例如,一項 2004 年針對 15 名女性評估健康網站的研究指出「94% 的評論關於設計」,經過多年轉述後,被 Google AI Overviews 誤植為「94% 的网站第一印象與設計有關」。

研究亦發現,當五款助手對同一問題給出相同數字時,並不代表該數據更可靠。在五款助手均給出百分比的 71 個問題中,有 28 題出現了四個或五個不同的數字,平均差距達 16 個百分點,其中 31 題的差距超過 20 個百分點。反之,當五款助手意見一致時(共 10 題),僅 2 題能追溯到原始研究;被至少三款助手引用的數據中,僅 11/29 能溯源成功。有四項數據被所有助手引用卻完全找不到原始研究支持,包括「44% 的銷售人員在一次跟進後放棄」及「90% 的社群媒體用戶追蹤至少一個品牌」。

尚待確認:部分統計數據因來源付費牆、連結失效或未明確標示數字而無法驗證(佔 40%)。

尚待確認:11% 的統計數據完全找不到任何原始研究支持,僅在無引用的頁面間重複流傳。

尚待確認:五款助手在引用數字數量與溯源成功率上的差異,除 ChatGPT 外,其餘四款的表現落在彼此的統計誤差範圍內,無法明確排名。

尚待確認:部分被廣泛引用的數據(如「44% 銷售人員放棄跟進」)雖被所有助手引用,但研究團隊未能找到任何原始研究支持。

事件背景

此研究由 Trakkr Research 於 2026 年 10 月進行。為驗證結果是否受問題選擇影響,團隊額外追蹤了 Google AI Overviews 對 52,930 個真實日常英文搜尋(2026 年 9 月 25 日至 10 月 25 日)的回答中引用的 300 個統計數據,發現溯源成功率同樣約為 40%。研究過程採用 AI 模型初步判斷引用鏈條,再由更強大的模型複核 300 筆,最後由人工隨機複核 150 筆並處理分歧,所有報告的比率均經過人工校正並標註不確定範圍。

社群觀察

社群討論中,用戶 Isamu 認為 AI 的理想用途應是自動追蹤聲明至原始參考文獻以進行驗證,但目前卻被用於提供未經盡職調查的快速答案,反而更懶惰。用戶 toddmorey 對報告寫作風格(如「一個數字,隨後...」)感到困惑,不確定是懶散還是諷刺。用戶 alberth 指出 Perplexity 要求每句話都能回溯至實際來源(如同儕審查論文)的設計似乎是建立信任的優勢。用戶 falcor84 以幽默方式評論,稱若人類基準中有 73.6% 的統計數據是編造的(該數據本身也是編造的),則 AI 有 40% 的數據有研究支持令人鼓舞。用戶 armcat 提醒使用者需自行檢查引用連結的有效性,並建議實驗室公司應對引用來源進行品質排名或檢查,因為內聯引用標記可能給用戶錯誤的安全感。