作者 李曉丹

在2025年，無論是Web還是API類型的AI Bot，抓取次數(shù)的增速均超過100%，在高峰時(shí)期，增幅甚至達(dá)到200%。當(dāng)ChatGPT引發(fā)的“AI革命”從實(shí)驗(yàn)室走向產(chǎn)業(yè)落地，安全威脅的主角悄然換成了更聰明、更隱蔽的“AI玩家”。

來自Akamai的數(shù)據(jù)顯示，隨著AI興起，網(wǎng)絡(luò)爬蟲（AI Bot）日益增加。這一趨勢背后，是由于大模型為訓(xùn)練自身需要獲取大量數(shù)據(jù)，因而派出大量AI Bot采集信息。其中，有些 Bot來自我們熟知的大模型，也有一些惡意Bot混雜其中。AI Bot可的核心任務(wù)就是從互聯(lián)網(wǎng)上大規(guī)模抓取數(shù)據(jù)，用于訓(xùn)練和優(yōu)化大型語言模型（LLM）。

從行業(yè)分布來看，無論是高科技、商貿(mào)、金融還是數(shù)字媒體，每個(gè)行業(yè)中都能觀察到大量 AI Bot 的活動。其邏輯很簡單：要訓(xùn)練出優(yōu)質(zhì)的大模型，數(shù)據(jù)至關(guān)重要。因此，如何最大化獲取互聯(lián)網(wǎng)數(shù)據(jù)，成為大模型發(fā)展的關(guān)鍵，這也解釋了為何越來越多的 AI Bot 正在抓取各行業(yè)數(shù)據(jù)用于訓(xùn)練。

IDC預(yù)測，到2029年活躍部署的AI智能體數(shù)量將超過10億個(gè)——比當(dāng)前水平增長40倍。僅在2025年上半年，智能體創(chuàng)建就激增了119%。

AI Bot是如何從“爬蟲”進(jìn)化到“獵手”的？隨著AI Bot數(shù)量的增加，這些智能體正變得越來越“智能”。2018年，當(dāng)時(shí)傳統(tǒng)的Bot大多執(zhí)行簡單的腳本行為，相對容易識別，通常通過特征匹配即可檢測和攔截。然而，2022年ChatGPT發(fā)布后，許多大模型及相關(guān)新技術(shù)被應(yīng)用于機(jī)器人，使其變得更“聰明”，它們能更有效地識別如何抓取數(shù)據(jù)、如何規(guī)避監(jiān)控。2025年，ChatGPT已能繞過“驗(yàn)證碼驗(yàn)證”，這說明AI Bot已進(jìn)入高度智能的階段。

對企業(yè)而言，是否應(yīng)完全開放網(wǎng)絡(luò)供AI Bot抓??？這實(shí)際上涉及多種運(yùn)營與控制策略，也與客戶自身的業(yè)務(wù)模式相關(guān)。2025年曾有一個(gè)與大模型相關(guān)的訴訟案例：一家新聞聚合網(wǎng)站起訴某知名大模型公司，原因是后者在未經(jīng)授權(quán)的情況下大規(guī)模抓取其內(nèi)容。對于新聞聚合平臺而言，其核心資源正是用戶訪問和瀏覽的內(nèi)容。如果所有內(nèi)容都通過智能體或大模型獲取，直接訪問原平臺的用戶將大幅減少。因此，在出現(xiàn)未經(jīng)授權(quán)的抓取行為后，該平臺選擇了法律訴訟。

“針對以上情況，可以從兩方面應(yīng)對：第一，基于更成熟的模型，識別AI Bot的來源、特征并對其進(jìn)行分類，從而更精準(zhǔn)地辨識這類流量；第二，目前正在探索更新的應(yīng)對機(jī)制，例如，與Skyfire等第三方公司合作，識別‘合規(guī)’的Bot并實(shí)現(xiàn)基于請求量來計(jì)費(fèi)。如果內(nèi)容提供商與AI公司達(dá)成協(xié)議，允許其Bot抓取內(nèi)容并按請求次數(shù)收費(fèi)，就可以識別此類請求，并通過第三方實(shí)現(xiàn)靈活計(jì)費(fèi)。這種更靈活的方式，也可以更好地應(yīng)對日益智能的內(nèi)容抓取而進(jìn)行的演進(jìn)?！盇kamai北亞區(qū)技術(shù)總監(jiān)劉燁說。

“應(yīng)用落地對智能體是非常重要的一個(gè)環(huán)節(jié)，需要更多地跟AI生態(tài)里面的各個(gè)環(huán)節(jié)做互動、需要根據(jù)用戶的需求來調(diào)用不同模態(tài)、具有不同優(yōu)勢的模型。”Akamai副總裁暨大中華區(qū)總經(jīng)理李昇表示，任何一個(gè)智能體用的應(yīng)用都牽涉到前端的客戶輸入和后臺各種模型及各種應(yīng)用的調(diào)用，包括API的調(diào)用會越來越多、越來越復(fù)雜，中間的連接性會越來越強(qiáng)，這就產(chǎn)生了兩種現(xiàn)實(shí)需求，一種是API端的安全需求，另一種則是智能體對邊緣云的需求，智能體被注入了海量的文字、圖片、視頻內(nèi)容，它需要更加安全的超級中心訓(xùn)練模型。

李昇預(yù)測，整個(gè)AI市場的熱點(diǎn)將逐漸從訓(xùn)練大模型、推出各種各樣的模型，轉(zhuǎn)向針對特定使用場景的模型研發(fā)與應(yīng)用落地。

免責(zé)聲明：本文觀點(diǎn)僅代表作者本人，供參考、交流，不構(gòu)成任何建議。

李曉丹

宏觀經(jīng)濟(jì)研究院秘書長