🐶 谷歌AI爬虫访问量达同行167倍，Cloudflare主张强制拆分Googlebot

英国竞争与市场管理局针对谷歌提出行为准则咨询，旨在赋予出版商对 AI 爬取内容的控制权。Cloudflare 数据显示 Googlebot 的网页访问量最高可达同行的 167 倍，其搜索垄断地位使其在生成式 AI 领域获得竞争优势。

CMA 提议要求谷歌提供控制选项与透明度，但 Cloudflare 认为这会加深出版商对谷歌平台的依赖。该机构建议强制谷歌将搜索与 AI 爬虫进行拆分，以允许出版商在保留搜索流量的同时拒绝 AI 训练。

The Cloudflare Blog

🍀在花频道 🍵茶馆聊天 📮投稿