有測試顯示，Google在搜索結果中默認展示的 AI 總覽內容雖然大部分時間是準確的，但在當前超大規(guī)模的搜索量之下，哪怕只有一小部分出錯，也意味著用戶每天會看到數以千萬計的錯誤答案。

《紐約時報》援引 AI 初創(chuàng)公司 Oumi 的評估稱，大約每 10 條Google AI 總覽中就有 1 條包含虛假信息。按Google每年處理約 5 萬億次搜索來推算，用戶每小時可能會接觸到超過 5700 萬條不準確的回答，換算下來幾乎是“每分鐘近百萬條”。

Oumi 應《紐約時報》要求，使用廣泛采用的生成式 AI 測試基準 SimpleQA，對Google搜索中的 Gemini 準確率做了量化評估。在 4326 條搜索樣本中，去年 10 月 Gemini 2 提供準確 AI 總覽的比例約為 85%，到了今年 2 月升級到 Gemini 3 后，這一比例提升到 91%。

不過，Oumi 之所以能在大樣本規(guī)模下進行評估，本身也依賴其他 AI 工具，這可能會引入新的誤差。與此同時，Google在現實使用中有時會對同一搜索請求給出不同的 AI 總覽內容，即便兩次搜索之間僅間隔數秒，這也加大了評估難度。

Google方面則認為 Oumi 的測試方法“有缺陷”，并不符合真實世界的搜索行為。按照Google內部測試數據，在脫離搜索、單獨運行的情況下，Gemini 3 的“幻覺率”（生成錯誤內容的比例）約為 28%。

報道指出，信息來源也是一大難題。Google會嘗試在 AI 總覽中附上相關鏈接，但這些鏈接經常無法真正支撐 Gemini 給出的結論——無論這些結論本身是對是錯。測試發(fā)現，在一些情況下，錯誤的 AI 總覽后面緊跟著的鏈接卻給出了正確信息；也有時候，總覽內容準確，但引用的是含有錯誤信息的網頁；還有一部分結果中，鏈接頁面根本沒有與總覽相關的內容。

更值得注意的是，AI 總覽與其引用來源之間的不一致現象在升級后更加突出：使用 Gemini 2 時，有 37% 的搜索存在這種不一致，而升級 Gemini 3 后，這一比例升至 56%。

研究人員還發(fā)現，AI 總覽容易被外部內容“操控”。一位 BBC 記者在個人博客中刻意發(fā)布了錯誤信息，隨后便發(fā)現Google在第二天的搜索總覽中重復了這些不實內容。

在使用條款的細則中，幾家主流科技公司事實上都承認了當前生成式 AI 對“真實性”的把握仍然不牢靠。微軟在條款中把其 Copilot 工具界定為“僅供娛樂”，不適宜用于做出重要決策。Google則在 AI 總覽界面明確提示用戶要對回答進行再次核查，而 xAI 也公開承認，其模型存在產生“幻覺”的可能性。