根據(jù)Cloudflare發(fā)布的2025年度互聯(lián)網(wǎng)回顧報(bào)告，ChatGPT的網(wǎng)絡(luò)爬蟲GPTBot已成為互聯(lián)網(wǎng)上最受阻止的機(jī)器人，而其最大競(jìng)爭(zhēng)對(duì)手谷歌則是最受允許的爬蟲。更有趣的是，雖然ChatGPT是最受阻止的機(jī)器人，但實(shí)際上Anthropic的Claude AI引擎對(duì)網(wǎng)站所有者來說是最缺乏互惠價(jià)值的服務(wù)。

每年，互聯(lián)網(wǎng)基礎(chǔ)設(shè)施公司Cloudflare都會(huì)發(fā)布互聯(lián)網(wǎng)現(xiàn)狀分析報(bào)告。今年的重要發(fā)現(xiàn)包括：

互聯(lián)網(wǎng)流量增長19%，星鏈流量激增130%。谷歌仍是最受歡迎的互聯(lián)網(wǎng)平臺(tái)，ChatGPT成為最受歡迎的AI問答引擎。Facebook依然是最受歡迎的社交服務(wù)，YouTube在流媒體領(lǐng)域獲勝。非人類機(jī)器人現(xiàn)在占互聯(lián)網(wǎng)流量的56.5%，而人類用戶僅占43.5%。

機(jī)器人使用情況分析

機(jī)器人使用量已超過互聯(lián)網(wǎng)活動(dòng)的50%。最常見的機(jī)器人是谷歌和必應(yīng)等搜索引擎機(jī)器人，但增長最快的是來自AI服務(wù)的機(jī)器人，它們希望獲得谷歌已經(jīng)掌握的所有信息。GPTBot在夏末的使用量激增了305%。

然而，一些網(wǎng)站所有者不希望AI了解他們提供的所有內(nèi)容，因此通過robots.txt文件阻止AI爬蟲。這是一種簡(jiǎn)單的方式來表達(dá)"不要查看我的內(nèi)容"。值得注意的是，遵守這一規(guī)定完全是自愿的，AI服務(wù)Perplexity就被指控忽視r(shí)obots.txt聲明，無視限制繼續(xù)爬取網(wǎng)站。

爬蟲阻止與允許情況

2025年最受阻止的網(wǎng)絡(luò)爬蟲是OpenAI的GPTBot。第二受阻止的是CCBot，由一個(gè)聲稱維護(hù)開源網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)庫的非營利組織提供。谷歌的爬蟲排名第三。

然而，由于人們?nèi)韵Ｍ麖墓雀璜@得網(wǎng)絡(luò)流量，谷歌的機(jī)器人也是互聯(lián)網(wǎng)上最受允許的機(jī)器人，其次是微軟的必應(yīng)機(jī)器人，第三名是OpenAI的GPTBot。

這種看似矛盾的現(xiàn)象反映了不同網(wǎng)站所有者的不同策略。一些網(wǎng)站所有者希望被看到和使用，認(rèn)為這有助于他們成長；而另一些則選擇封閉，認(rèn)為機(jī)器人在沒有充分補(bǔ)償?shù)那闆r下奪取了價(jià)值。

爬取與推薦比率分析

Cloudflare提供的爬取推薦比率圖表揭示了公司允許服務(wù)爬取其網(wǎng)站時(shí)的隱含交易條件。該比率很簡(jiǎn)單：我的網(wǎng)站被機(jī)器人分析或搜索多少次，相對(duì)于該服務(wù)向我發(fā)送多少真實(shí)人類用戶。

傳統(tǒng)搜索引擎在這方面表現(xiàn)最佳，相比AI引擎提供更多回報(bào)流量：

谷歌：約10比1（每發(fā)送1個(gè)訪客需要10次爬?。?/p>

百度：約1比1

DuckDuckGo：約1比1

微軟：約100比1（主要是必應(yīng)）

Perplexity：約100比1

OpenAI/ChatGPT：約1000比1

Anthropic：約100000比1

作為網(wǎng)站所有者，1比1的爬取推薦比率幾乎是理想狀態(tài)，10比1還不錯(cuò)，100比1甚至1000比1都可以理解。但100000比1意味著大量爬取卻幾乎沒有可察覺的回報(bào)。

其他有趣發(fā)現(xiàn)

Cloudflare 2025年雷達(dá)報(bào)告中最奇特的消息是，惡意和垃圾郵件最危險(xiǎn)的域名是.christmas。因此在今年慶祝節(jié)日時(shí)，不要打開任何來自包含"Christmas"字樣域名的郵件。

報(bào)告還顯示，互聯(lián)網(wǎng)中斷的最大原因不是事故或?yàn)?zāi)難，而是政府指令關(guān)閉。美國占全球機(jī)器人流量的40%，5.6%的電子郵件包含惡意攻擊。

Q&A

Q1：GPTBot為什么成為最受阻止的網(wǎng)絡(luò)爬蟲？

A：GPTBot是ChatGPT的網(wǎng)絡(luò)爬蟲，用于收集互聯(lián)網(wǎng)信息并轉(zhuǎn)化為知識(shí)。許多網(wǎng)站所有者認(rèn)為AI機(jī)器人在沒有充分補(bǔ)償?shù)那闆r下獲取了他們的內(nèi)容價(jià)值，因此選擇通過robots.txt文件阻止GPTBot訪問。同時(shí)，GPTBot的使用量在夏末激增了305%，增加了網(wǎng)站的負(fù)擔(dān)。

Q2：爬取推薦比率是什么意思？

A：爬取推薦比率是指AI服務(wù)或搜索引擎爬取網(wǎng)站的次數(shù)與向該網(wǎng)站發(fā)送真實(shí)用戶訪問次數(shù)的比例。例如，谷歌的比率約為10比1，意味著每爬取10次會(huì)發(fā)送1個(gè)用戶；而Anthropic的比率高達(dá)100000比1，意味著爬取10萬次才發(fā)送1個(gè)用戶，這對(duì)網(wǎng)站所有者來說價(jià)值極低。

Q3：為什么谷歌既是最受阻止也是最受允許的爬蟲？

A：這反映了不同網(wǎng)站所有者的不同策略。谷歌作為最大的搜索引擎，一些網(wǎng)站希望被谷歌收錄以獲得流量，因此允許其爬蟲；但另一些網(wǎng)站擔(dān)心內(nèi)容被過度利用而選擇阻止。谷歌的爬取推薦比率相對(duì)合理（約10比1），比AI服務(wù)提供更多回報(bào)流量。