Cloudflare 推出「禁止 AI 训练」设置，搜索收录与训练授权可分开

核心事实

据 Cloudflare 博客消息，Cloudflare 宣布推出一项名为「禁止 AI 训练」（Disallow AI Training）的新设置。该设置针对的是「混合用途爬虫」——即同一爬虫同时承担搜索索引与 AI 训练抓取两种用途。站点启用后，可以在保持被搜索引擎收录的同时，拒绝该爬虫将内容用于 AI 训练。据该博客称，苹果、谷歌和微软已表示遵守，或已承诺在指定时间范围内遵守这一设置。

背景与影响

博客指出，网站所有者长期面临一个两难选择：要么允许内容被用于 AI 训练，要么承担在搜索中失去可见性的风险。原因在于部分大型互联网组织使用混合用途爬虫，拒绝其中一种用途往往等于同时拒绝另一种。Cloudflare 称，其站点中不到 1% 选择屏蔽搜索爬虫，而约 17% 的站点启用了某种阻止训练的机制，因此需要更细粒度的控制，而非「一刀切」地屏蔽 AI。博客还提到，仅靠 robots.txt 指令无法解决该问题，因为无法识别爬虫身份、判断抓取目的，也无法阻止无视指令的爬虫；而网络层可以发布偏好、识别身份、分类用途并实施拦截。此外，博客称 AI 摘要（AI Summaries）是下一步方向，并计划在明年初让用户控制内容被纳入摘要的比例，相关能力目前尚未获官方确认。

限制与来源

上述内容来自 Cloudflare 博客文章，具体功能范围、可用地区、账号与语言支持、生效时间等细节，请以 Cloudflare 官网当前信息为准。文中涉及的苹果、谷歌、微软的遵守情况为博客单方面表述，尚未获相关公司官方确认。本文不构成任何投资、法律或其他专业建议。