IT之家 1 月 13 日消息，通常情況下，引用其他網(wǎng)站內(nèi)容的人工編輯會附上消息原始信息來源，以便讀者參考原文內(nèi)容，從而為原始平臺帶來訪問流量，這構(gòu)成了互聯(lián)網(wǎng)長期運行的“隱性契約”。

然而在當(dāng)下 AI 時代，這套機(jī)制正在迅速瓦解。當(dāng)下各大 AI 機(jī)器人直接根據(jù)用戶需求爬取網(wǎng)站數(shù)據(jù)，從而導(dǎo)致用戶訪問原始網(wǎng)站的意愿明顯下降，同時相應(yīng)網(wǎng)站反遭相應(yīng) AI 工具大量消耗流量。

綜合 Cloudflare 及 Business Insider 報道，Cloudflare 從 2025 年開始系統(tǒng)性地追蹤這一不公平現(xiàn)象，平臺通過統(tǒng)計大型科技公司爬蟲抓取網(wǎng)站的請求次數(shù)，以及這些平臺向網(wǎng)站實際輸送的訪問量，由此計算出一個“抓取與回流比”，相應(yīng)指標(biāo)可以直觀反映平臺從互聯(lián)網(wǎng)“拿走”了多少價值，又“還回”了多少。例“100:1 的比例意味著平臺每抓取網(wǎng)站內(nèi)容 100 次，只為其帶來 1 次訪問”。

在 Cloudflare 的統(tǒng)計中，Anthropic “抓取與回流比”最差，其網(wǎng)站抓取量遠(yuǎn)遠(yuǎn)高于為網(wǎng)站帶來的訪問量，OpenAI 的情況也類似，其抓取與回流比同樣不佳，這意味著兩家平臺正從互聯(lián)網(wǎng)獲取越來越多的價值，卻回饋得越來越少。

這一趨勢與外媒 Business Insider 在 2024 年末的調(diào)查相互印證。當(dāng)時的報道指出，Anthropic 和 OpenAI 的爬蟲對部分網(wǎng)站的抓取頻率“高到驚人”，甚至導(dǎo)致網(wǎng)站的流量和云計算成本大幅上升。

一位開發(fā)者當(dāng)時透露，僅僅幾個月時間，其客戶的云服務(wù)賬單就因為 AI 爬蟲暴增而翻了一倍。也就是說，AI 公司不僅從互聯(lián)網(wǎng)獲取內(nèi)容、減少回流，還在無形中把更高的運營成本轉(zhuǎn)嫁給了網(wǎng)站所有者。