Hugging Face 部落格介紹了一種針對 MCP 代理的來源感知驗證方法,該方法優先關注精確的引用追蹤,而不僅僅是事實正確性。此方法透過確保陳述歸因於正確的證據來源,旨在減少幻覺現象。

這解決了 RAG 和代理系統中的一個關鍵痛點,即模型在事實正確時經常產生幻覺引用。它為 MCP 代理提供了實用的改進,增強了依賴外部工具的企業 AI 應用程式的可靠性。

該方法通常包含來源追蹤層,其中每個工具呼叫都會記錄來源 URI 和檢索時間,並結合使用 DeBERTa-v3 等自然語言推論模型進行蘊含評分。這確保能檢測到跨來源混淆,並將陳述與特定段落進行驗證。

事件背景

ProvenanceGuard 是針對 Model Context Protocol (MCP) 代理的生成後驗證層,透過確保陳述歸因於正確的證據來源,來檢測跨來源混淆。