在互聯網生態(tài)因AI智能體快速滲透而發(fā)生深刻變革的背景下，全球知名內容分發(fā)網絡服務商Cloudflare與網絡托管巨頭GoDaddy宣布達成戰(zhàn)略合作，共同構建AI與網站交互的規(guī)則框架。雙方將通過技術整合與標準制定，幫助網站所有者重新掌握內容訪問權，應對AI爬蟲帶來的流量流失與收益沖擊。

此次合作的核心是GoDaddy將Cloudflare開發(fā)的AI爬蟲管理工具嵌入其托管平臺。該工具允許網站運營者自主設定AI訪問權限，包括完全禁止、自由放行或要求付費訪問三種模式。Cloudflare首席策略官Stephanie Cohen指出："我們正通過技術賦權，讓創(chuàng)作者既能驗證訪問者身份，又能為合規(guī)AI提供安全交互通道。"這一舉措直指當前AI搜索對傳統網站流量的擠壓——當用戶通過AI概覽等工具直接獲取答案時，原始內容提供者的廣告收入與轉化率正急劇下降。

為平衡技術管控與生態(tài)發(fā)展，雙方同步推進兩項開放標準建設。其一是智能體名稱服務（ANS），這個由GoDaddy主導開發(fā)的系統類似于AI領域的DNS，通過建立去中心化的智能體注冊表，將AI實體與其控制方綁定，確保可追溯性與信任度。目前該系統已在GitHub開源，支持多協議接入。另一項標準是Cloudflare提出的Web Bot Auth認證體系，通過在HTTP請求中嵌入加密簽名，使AI爬蟲可自證身份。兩家公司強調，這些技術組合將形成"默認透明"的智能體網絡環(huán)境。

MIT計算機科學與人工智能實驗室（CSAIL）發(fā)布的《2025 AI智能體指數》報告顯示，現有AI機器人中63%會無視robots.txt協議，僅12%會主動披露安全信息。這種無序狀態(tài)加劇了網站所有者的困境——據統計，全球約20%網站依賴Cloudflare的防護服務，而GoDaddy托管著超8000萬個域名。兩大巨頭的標準推廣若獲成功，將覆蓋相當比例的互聯網基礎設施。

技術管控的另一面是商業(yè)邏輯的重構。Cloudflare近年持續(xù)升級反爬蟲技術，其2025年推出的"AI誘捕系統"可通過生成無限垃圾數據消耗非法爬蟲資源。而要求AI付費訪問的提議，則源于對流量價值重新分配的思考——當AI企業(yè)通過聚合網站內容獲利時，原始創(chuàng)作者理應獲得補償。這種思路與Sam Altman提出的眼球掃描認證方案形成對比，后者因涉及生物信息采集引發(fā)爭議，而開放標準路徑被認為更具可行性。

盡管標準推廣面臨挑戰(zhàn)，但行業(yè)共識正在形成。GoDaddy技術團隊表示，ANS注冊表已吸引多家AI初創(chuàng)公司參與測試，而Web Bot Auth的加密簽名方案正與W3C標準組織協商納入推薦規(guī)范。在這場人機交互規(guī)則的重塑中，如何既保護人類創(chuàng)作者權益，又避免技術壁壘阻礙AI創(chuàng)新，將成為持續(xù)博弈的焦點。