人工智能（AI）在企業中的應用日益廣泛，但其固有的“幻覺”風險——即生成不真實或無根據的信息——一直是阻礙大規模部署的關鍵挑戰。儘管行業內涌現了衆多旨在減少幻覺的技術和方法，如檢索增強生成(RAG)、數據質量提升、護欄機制以及推理驗證等，但效果往往有限。近日，一家名爲Vectara的公司推出了一種全新的解決方案:“Vectara 幻覺矯正器”，旨在通過監護代理自動識別、解釋和糾正AI產生的幻覺，爲企業級AI應用帶來新的希望。

AI教育 演講 人工智能 (3)

Vectara 最初是 RAG 技術的早期倡導者。RAG 通過從提供的內容中提取信息來減少幻覺，但並非萬無一失。與現有方案側重於檢測或預防不同，Vectara 的監護代理採取了主動糾正的策略。這種守護代理本質上是監控 AI 工作流程並實施保護措施的軟件組件，它以代理式 AI 的方式應用糾正，在保留整體內容的同時進行精準修改，並提供詳細的修改原因解釋。Vectara 聲稱，該系統已成功將小型語言模型（參數小於70億）的幻覺率降低到1% 以下。

Vectara 首席產品官 Eva Nahari 強調，隨着企業更多地採用代理式工作流程，幻覺帶來的負面影響將成倍放大，這正是他們推出守護代理的原因，旨在構建更值得信賴的企業級 AI。

爲了進一步推動幻覺矯正技術的發展，Vectara 還發布了一個名爲 HCMBench 的開源評估工具包。該基準提供了一個標準化的方法來評估不同幻覺矯正模型的效果，支持多種評估指標，旨在幫助整個社區評估幻覺矯正聲明的準確性，包括 Vectara 自身的方案。

Vectara 的創新方法爲企業應對 AI 幻覺風險提供了一個新的思路。相較於僅僅檢測或在高風險場景中放棄使用 AI，企業現在可以考慮部署能夠主動糾正錯誤的方案。這種方法尤其適用於對準確性要求極高的高價值工作流程。當然，企業在引入此類自動糾正機制的同時，仍應考慮保留一定的人工監督能力，並利用 HCMBench 等基準工具進行充分評估。隨着幻覺矯正技術的不斷成熟，企業有望在更多以前受限的領域安全地部署 AI，同時確保關鍵業務運營所需的準確性。