當(dāng)前，各大AI機(jī)器人根據(jù)用戶需求大量爬取網(wǎng)站數(shù)據(jù)，導(dǎo)致用戶直接訪問原始網(wǎng)站的意愿顯著降低。與此同時(shí)，網(wǎng)站反而因AI工具的頻繁抓取承受了巨大的流量消耗，原本的互利模式被徹底打破。

據(jù)Cloudflare和Business Insider的聯(lián)合調(diào)查，Cloudflare自2025年起開始系統(tǒng)性追蹤這一現(xiàn)象。該平臺(tái)通過統(tǒng)計(jì)大型科技公司爬蟲抓取網(wǎng)站的請(qǐng)求次數(shù)，以及這些平臺(tái)實(shí)際為網(wǎng)站輸送的訪問量，計(jì)算得出“抓取與回流比”指標(biāo)。這一數(shù)據(jù)直觀反映了平臺(tái)從互聯(lián)網(wǎng)獲取價(jià)值與回饋價(jià)值的比例。例如，“100:1的比例”意味著平臺(tái)每抓取網(wǎng)站內(nèi)容100次，僅為其帶來1次訪問。

在Cloudflare的統(tǒng)計(jì)中，Anthropic的表現(xiàn)尤為突出，其網(wǎng)站抓取量遠(yuǎn)超為網(wǎng)站帶來的訪問量，成為“抓取與回流比”最差的公司之一。OpenAI的情況也類似，其指標(biāo)同樣不理想，顯示這兩家平臺(tái)正從互聯(lián)網(wǎng)獲取大量價(jià)值，但回饋卻越來越少。

這一趨勢(shì)與Business Insider在2024年末的調(diào)查結(jié)果相互印證。當(dāng)時(shí)的報(bào)道指出，Anthropic和OpenAI的爬蟲對(duì)部分網(wǎng)站的抓取頻率“高得驚人”，直接導(dǎo)致這些網(wǎng)站的流量激增，云計(jì)算成本大幅上升。一些網(wǎng)站甚至因無法承受成本壓力而被迫調(diào)整運(yùn)營策略。

一位開發(fā)者透露，其客戶的云服務(wù)賬單在短短幾個(gè)月內(nèi)因AI爬蟲的暴增而翻倍。這表明，AI公司不僅在減少對(duì)互聯(lián)網(wǎng)的內(nèi)容回饋，還將更高的運(yùn)營成本轉(zhuǎn)嫁給了網(wǎng)站所有者，進(jìn)一步加劇了互聯(lián)網(wǎng)生態(tài)的不平衡。