2025年初，一場針對高流量爬蟲的防御戰(zhàn)正在悄然進行。多倫多大學系統(tǒng)管理員Chris Siebenmann在自己的技術博客"Wandering Thoughts"上設置了一道特殊的門檻：如果你的瀏覽器版本"太舊"，可能會被直接攔在門外。

這場防御的起因很直接——大量用于訓練大語言模型的爬蟲程序正在瘋狂抓取網頁內容。這些爬蟲有個共同特點：它們喜歡偽裝成舊版Chrome瀏覽器。于是，屏蔽舊版Chrome用戶代理（User-Agent）成了Siebenmann的實驗性對策。

但誤傷在所難免。Siebenmann在攔截頁面上列出了幾類特殊情況。Vivaldi瀏覽器的用戶可能需要手動關閉"用戶代理品牌掩碼"功能，讓瀏覽器表明真實身份而非偽裝成Chrome。

使用Inoreader訂閱的用戶則遇到了更詭異的問題——這個正常的RSS閱讀器有時會向用戶展示攔截頁面，盡管它的抓取程序本身并未被屏蔽。Siebenmann推測，Inoreader可能偶爾會用舊版瀏覽器代理去獲取內容，然后把攔截頁面當成了正式內容呈現(xiàn)。

最棘手的是archive.*系列存檔網站。這些服務為了抓取網頁存檔，采用了與惡意爬蟲幾乎無法區(qū)分的策略：舊版Chrome用戶代理、廣泛分布的IP地址段、甚至偽造的googlebot反向DNS記錄。Siebenmann的建議很直接：改用行為更規(guī)范的archive.org。

這場實驗暴露了一個現(xiàn)代網絡的尷尬現(xiàn)實：HTTP用戶代理這個本用于標識瀏覽器身份的字段，已經變成了真假難辨的戰(zhàn)場。當防御方不得不采取"寧可錯殺"的策略時，普通用戶的正常訪問就成了附帶損害。Siebenmann留下了聯(lián)系郵箱，邀請被誤傷的真實用戶反饋情況——這是技術治理中少見的人性化緩沖。