檢索錯誤導致企業被迫履行不存在的保固承諾
該企業為了讓客戶資料留在內部，於今年早些時候將客服機器人從第三方服務遷移至自託管的模型，並採用檢索增強生成（RAG）技術從內部幫助文件中獲取答案。在運行數月看似正常後，一名客戶收到截圖顯示機器人錯誤地告知「意外損壞」包含在保固範圍內且可免費維修。
實際上該客戶並未購買涵蓋此項目的延長計劃，但機器人將標準保固與延長計劃的文件內容混合在一起生成回答。由於客戶持有企業自家機器人的截圖作為證據，爭辯變得困難，公司最終只能履行這個錯誤的承諾。
類似案例並非孤例，加拿大航空（Air Canada）在2024年也曾因聊天機器人提供關於喪親票價的誤導資訊而在法庭敗訴。此案例顯示AI客服產生事實錯誤可能導致企業面臨法律訴訟風險。
日誌記錄無法捕捉語意流暢但事實錯誤的回答
事後檢查發現，系統日誌中沒有任何明顯的錯誤標記或異常訊號。機器人的回答在語言上非常流暢且緊扣主題，唯一的問題在於它基於錯誤的文件區塊（Chunk）生成了內容。
這種情況顯示僅檢查日誌中的明顯錯誤無法發現基於正確但適用條件不符的文件區塊所生成的回答。
該企業指出，要在客戶發現問題之前捕捉這類錯誤，似乎需要將工作分為兩個獨立的任務來處理，單純依賴現有的日誌系統不足以應對這種細微的事實偏差。
業界提出的兩類監控與攔截方案
第一種方法是增強可追溯性，即在每個回答旁邊記錄檢索到的文件區塊，以便事後追蹤錯誤來源。工具如Langfuse或Arize Phoenix被認為有助於實現這一目標，讓開發人員能回溯是哪一段文件導致了錯誤生成。
第二種方法是在回答發送給客戶之前進行即時檢查，攔截那些關於保固範圍或退款等關鍵資訊、但檢索證據並未實際支持的回答。這是一種在回答發送前攔截未經檢索證據支持的關鍵資訊的方法。
該企業正在評估Orq AI作為解決方案之一，因為它提供作為護欄（Guardrails）運行的評估器，能在檢查失敗時阻擋回應，且支援本地安裝以確保資料不出內部環境。另一個選項是使用NVIDIA的Nemo Guardrails並自行編寫更多的檢查邏輯。
自動化攔截與人工審閱的有效性尚待驗證
儘管有技術解決方案，該企業仍對其有效性存疑，特別是當機器人混淆了兩份都在文件中存在、但適用條件不同的政策時。這種錯誤源於機器人混合了兩份都在文件中存在但適用條件不同的政策。
目前尚不確定在輸出端設置護欄是否能比每天早上由人工閱讀對話記錄捕捉到更多的錯誤。這表明在處理混合政策錯誤時，自動化護欄的有效性尚存疑問。
該案例顯示當AI模型從真實但條件受限的知識庫中檢索資訊時，可能產生不符合使用者資格條件的回答。
