維基媒體基金會（Wikimedia Foundation）周二（4/1）表示，自2024年以來，外界對于由志工創(chuàng)建的維基媒體社交媒體的內(nèi)容需求大幅攀升，特別是維基共享資源（Wikimedia Commons）上所存放的1.44億個圖像、視頻或其他文件，下載相關(guān)多媒體內(nèi)容的帶寬增長了50%，其增長主要來自于AI模型的爬蟲機器人，因此該基金會制定了年度計劃，預(yù)計減少20%的爬蟲請求，以及降低30%的爬蟲數(shù)據(jù)傳輸流量，以節(jié)省資源及帶寬，供真正需要服務(wù)的開發(fā)者使用。

該基金會指出，維基媒體的各個項目一直是全球最大的開放知識集合，不管是人類搜索或是商用產(chǎn)品的訪問都依賴它們，其中，內(nèi)容一直是搜索引擎結(jié)果的關(guān)鍵組成部分，同時也會將用戶引跳轉(zhuǎn)至維基媒體的網(wǎng)頁，然而，AI的興起使其動態(tài)產(chǎn)生了變化，他們觀察到請求數(shù)量明顯增加，所增加的流量中大多數(shù)是來自于替大型語言模型（LLM）或其他案例搜集數(shù)據(jù)的爬蟲機器人，而這些流量大部分并沒有注明所取得的數(shù)據(jù)源，同時還對維基媒體的底層基礎(chǔ)設(shè)施造成了大量的負擔(dān)。

根據(jù)維基媒體基金會的統(tǒng)計，自2024年1月以來，用于下載多媒體內(nèi)容的帶寬增加了50%，該增長并非來自人類，主要來自自動化程序，這些爬蟲程序抓取Wikimedia Commons形象目錄中的公開許可圖像，以將圖像提供給AI模型。該平臺的基礎(chǔ)設(shè)施可承受高關(guān)注事件發(fā)生時，人類于短時間相繼訪問所形成的流量高峰，然而，若花費大量的時間與資源來回應(yīng)非人為的流量時，該平臺容納異常事件的空間就會縮小，也衍生出越來越大的風(fēng)險與成本。

維基媒體基金會是借由全球的數(shù)據(jù)中心網(wǎng)絡(luò)替用戶提供內(nèi)容，當(dāng)一篇文章被多次請求時，他們會在離用戶最近的數(shù)據(jù)中心記住或緩存它們，倘若某篇文章很久未被請求，那么則會自核心數(shù)據(jù)中心供應(yīng)，意味著該請求必須行經(jīng)從靠近用戶的數(shù)據(jù)中心到核心數(shù)據(jù)中心的所有路徑，再將其存儲在區(qū)域數(shù)據(jù)中心。

人類讀者與機器人的差別在于，人類通常會訪問特定或相似的主題，但爬蟲機器人通常是批量閱讀大量的頁面，包括那些很少被訪問的冷門頁面，意味著許多請求會被轉(zhuǎn)至核心數(shù)據(jù)中心，消耗更多的資源。

在維基媒體進行系統(tǒng)遷移時，發(fā)現(xiàn)機器人瀏覽的網(wǎng)頁數(shù)量僅占全體的35%，但訪問其核心數(shù)據(jù)中心的流量卻高達65%。

維基媒體基金會強調(diào)，他們的內(nèi)容是免費的，但基礎(chǔ)設(shè)施不是，新的財政年度將著重于負責(zé)任地使用基礎(chǔ)設(shè)施，將工程資源優(yōu)先用來該基金會的各種項目、貢獻者，以及人類對知識的訪問，準(zhǔn)備減少20%由機器人產(chǎn)生的流量，降低30%的爬蟲機器人使用帶寬，估計到今年第4季時，將有50%的自動化流量可歸因于已知的開發(fā)人員或應(yīng)用程序，提高基礎(chǔ)設(shè)施的可持續(xù)性并防止濫用。

#機器人# #大數(shù)據(jù)# #數(shù)據(jù)中心#