OpenAI、谷歌、微软、Anthropic 支持在 robots.txt 中统一声明 AI 抓取偏好

四家主要 AI 公司同意采纳共享退出信号

据 The Verge 报道，OpenAI、谷歌、微软与 Anthropic 表示将采纳一项新标准，让网站发布方可以一次性向多家 AI 公司声明其内容是否可用于 AI 训练，而不必逐家单独设置。该共享「policy token」信号由 Anthropic 标准技术负责人 Kevin Kelley 在国际互联网工程任务组（IETF）框架下提出，将写入网站的 robots.txt 文件——这一文件长期用于告知网络爬虫哪些内容可被抓取。

背景：发布方与 AI 爬虫的持续摩擦

报道指出，此举出台之际，发布方正面临大量 AI 爬虫抓取站点、并将内容用于模型训练的压力。已有机构尝试其他路径，例如 Really Simple Licensing（RSL）标准允许发布方向访问站点的爬虫收费，Cloudflare 则默认拦截 AI 爬虫。四家公司表示，一旦在站点中识别到该共享信号，将限制自家 AI 爬虫访问。Meta 传播负责人 Andy Stone 对该设置表达支持，但未说明公司是否会遵守。微软称将提供更细粒度控制，允许发布方分别退出 AI 训练或 AI grounding（即引导模型指向经核实的来源以减少幻觉），并强调无论偏好如何，网站仍会出现在 Bing 搜索结果中。谷歌此前已推出类似控制项。

落地时间与限制

据报 Anthropic 已采用该信号，谷歌与微软计划于明年支持，OpenAI 称将在「未来数月」内实施。上述时间表与具体功能范围尚未获各公司进一步官方确认，实际可用性与适用范围请以各公司官网当前信息为准。