為了適應(yīng)日益服務(wù)于AI智能體需求但卻忽視網(wǎng)站所有者需求的互聯(lián)網(wǎng)環(huán)境，Cloudflare和GoDaddy正在合作努力控制AI如何爬取網(wǎng)絡(luò)并與網(wǎng)頁(yè)內(nèi)容交互。

這家內(nèi)容分發(fā)網(wǎng)絡(luò)公司和網(wǎng)絡(luò)托管服務(wù)商周二宣布，他們將幫助網(wǎng)站所有者更好地控制與AI的關(guān)系，主要通過(guò)GoDaddy將Cloudflare的AI爬蟲(chóng)控制工具整合到其平臺(tái)中。正如兩家公司在新聞稿中解釋的那樣，該工具讓所有者能夠管理AI如何與他們的網(wǎng)站交互，允許、阻止或要求爬蟲(chóng)付費(fèi)訪問(wèn)。

"通過(guò)將AI爬蟲(chóng)控制等工具和開(kāi)放標(biāo)準(zhǔn)交到網(wǎng)站所有者手中，我們正在為新的互聯(lián)網(wǎng)商業(yè)模式提供重要基礎(chǔ)，"Cloudflare首席策略官Stephanie Cohen就此舉表示。"我們希望確保每個(gè)創(chuàng)作者都有工具來(lái)驗(yàn)證誰(shuí)在與他們的網(wǎng)站交互，同時(shí)為合法的AI智能體提供安全、透明的參與方式。"

Cloudflare一直在大力宣傳控制機(jī)器人訪問(wèn)網(wǎng)站和網(wǎng)頁(yè)內(nèi)容的必要性，近年來(lái)已推出了多項(xiàng)旨在限制未授權(quán)抓取的措施。2025年，該公司推出了一個(gè)AI，據(jù)稱能夠通過(guò)向未授權(quán)的AI抓取器提供無(wú)窮無(wú)盡的垃圾信息來(lái)誘捕并浪費(fèi)它們的時(shí)間，此前還推動(dòng)要求AI機(jī)器人為訪問(wèn)網(wǎng)站付費(fèi)。

向機(jī)器人收費(fèi)是Cloudflare幫助保護(hù)網(wǎng)站運(yùn)營(yíng)商的想法之一，該CDN公司注意到，由于許多搜索訪問(wèn)者現(xiàn)在改為通過(guò)AI（如Google的AI概覽）獲得他們尋找的答案，網(wǎng)站運(yùn)營(yíng)商正在失去通過(guò)網(wǎng)絡(luò)流量賺取的大量資金。因此，訪問(wèn)者通常不太可能點(diǎn)擊進(jìn)入原始來(lái)源。

顯然，這兩家公司在這個(gè)問(wèn)題上都有利益關(guān)系，因?yàn)槿绻W(wǎng)站所有者不賺錢，他們自己也不太可能得到報(bào)酬。

良性機(jī)器人應(yīng)對(duì)之道

如果你設(shè)置路障來(lái)阻止惡性機(jī)器人，正如兩家公司指出的那樣，這是此次合作的重點(diǎn)，那么你自然會(huì)在這個(gè)過(guò)程中捕獲很多良性機(jī)器人，這就是為什么Cloudflare和GoDaddy也表示支持新標(biāo)準(zhǔn)，他們相信這些標(biāo)準(zhǔn)將保持良性機(jī)器人運(yùn)行，同時(shí)限制惡性機(jī)器人的覆蓋范圍。

兩家公司表示支持智能體名稱服務(wù)（ANS），這是去年提出的一個(gè)建議，它將像AI智能體的DNS系統(tǒng)一樣工作，創(chuàng)建一個(gè)開(kāi)放的、協(xié)議無(wú)關(guān)的AI智能體注冊(cè)表，通過(guò)將它們鏈接到控制器等方式，讓它們能夠以一定程度的信任和保證運(yùn)行。

我們注意到，ANS最終是由GoDaddy構(gòu)建的，并在GitHub上可用。兩家公司還支持Cloudflare的Web Bot Auth方法，該方法依賴HTTP消息中的加密簽名來(lái)確定請(qǐng)求是否來(lái)自AI機(jī)器人。兩家公司表示，這兩種技術(shù)允許AI智能體通過(guò)加密簽名請(qǐng)求來(lái)識(shí)別自己。

"通過(guò)開(kāi)放的標(biāo)準(zhǔn)和方法生態(tài)系統(tǒng)來(lái)識(shí)別智能體，智能體網(wǎng)絡(luò)可以在默認(rèn)情況下內(nèi)置透明度地發(fā)展，"兩家公司說(shuō)。

Cloudflare和GoDaddy還指出，他們希望確保"在答案引擎時(shí)代實(shí)現(xiàn)公平的價(jià)值交換"，這本質(zhì)上意味著他們希望互聯(lián)網(wǎng)仍然是一個(gè)以人為本的地方，我們這些血肉之軀能夠因?yàn)閷?duì)數(shù)字世界的貢獻(xiàn)而得到充分的補(bǔ)償。

當(dāng)然，對(duì)這些標(biāo)準(zhǔn)的支持并不意味著每個(gè)人都會(huì)采用它們，但如果Cloudflare和GoDaddy的客戶都能訪問(wèn)，那么網(wǎng)絡(luò)的很大一部分可能都會(huì)被覆蓋。據(jù)估計(jì)，全球約20%的網(wǎng)站都在Cloudflare反向代理之后，而GoDaddy也是一個(gè)龐大的網(wǎng)絡(luò)托管提供商。

這還不是AI智能體標(biāo)準(zhǔn)被認(rèn)為是標(biāo)準(zhǔn)的關(guān)鍵質(zhì)量，但這是一個(gè)開(kāi)始。這也比Sam Altman的眼球掃描AI智能體許可方案更有可能成功。

無(wú)論如何，必須盡快采取行動(dòng)：MIT CSAIL的2025年AI智能體指數(shù)于2月發(fā)布，發(fā)現(xiàn)AI機(jī)器人經(jīng)常忽略robots.txt限制，很少有人發(fā)布任何安全數(shù)據(jù)。隨著它們的激增和改變互聯(lián)網(wǎng)形態(tài)，需要普遍認(rèn)同的規(guī)則。

Q&A

Q1：AI爬蟲(chóng)控制工具是什么？它能做什么？

A：AI爬蟲(chóng)控制工具是Cloudflare開(kāi)發(fā)的一個(gè)實(shí)用程序，讓網(wǎng)站所有者能夠管理AI如何與他們的網(wǎng)站交互，可以選擇允許、阻止或要求爬蟲(chóng)付費(fèi)訪問(wèn)?，F(xiàn)在GoDaddy正在將這個(gè)工具整合到其平臺(tái)中。

Q2：為什么網(wǎng)站所有者需要控制AI機(jī)器人訪問(wèn)？

A：因?yàn)樵S多搜索訪問(wèn)者現(xiàn)在通過(guò)AI（如Google的AI概覽）直接獲得答案，而不是點(diǎn)擊進(jìn)入原始網(wǎng)站，導(dǎo)致網(wǎng)站運(yùn)營(yíng)商失去了通過(guò)網(wǎng)絡(luò)流量賺取的大量資金，影響了他們的收益。

Q3：智能體名稱服務(wù)ANS是什么？

A：ANS是由GoDaddy構(gòu)建的一個(gè)提案，類似于AI智能體的DNS系統(tǒng)，創(chuàng)建開(kāi)放的、協(xié)議無(wú)關(guān)的AI智能體注冊(cè)表，通過(guò)將智能體鏈接到控制器等方式，讓它們能夠以一定程度的信任和保證運(yùn)行。