
用语义 HTML、JSON-LD 与 robots.txt 让页面被 AI 代理正确读取
用语义 HTML、JSON-LD 与 robots.txt 让页面被 AI 代理正确读取
面向 AI 代理优化(AIO)的页面改造教程:用语义标签讲清文档结构,用 JSON-LD 补充机器可读的实体信息,用 robots.txt 区分学习型、搜索型与用户触发的抓取,并配合 llms.txt、canonical、站点地图与性能细节,让页面在人和机器两侧都更容易被正确理解。
搜索引擎抓取网页的时代还没有结束,但越来越多的访问来自 AI 代理:它们读取页面、抽取结构、把内容拼进回答或动作里。对页面作者来说,这意味着「看起来清楚」已经不够,还要让不渲染视觉的机器也能分清哪里是标题、哪里是正文、哪里是导航,以及这个页面究竟在讲什么。本教程把这类工作称为 AIO(AI Optimization,面向 AI 的优化),围绕四件事展开:语义 HTML、JSON-LD 结构化数据、面向 AI 抓取者的 robots.txt 与 llms.txt、以及数据获取的便利性与性能。需要先说明的是,这里讲的都是规范与文档中写明的「机器易读做法」和「向抓取者表达意愿的方法」,并不承诺某个具体 AI 产品一定会读取或引用你的页面——各家代理内部如何解析站点,属于未公开的实现细节,不应作为写作依据。
准备工作
这套改造基本不需要额外账号或付费服务,动手前确认以下几项即可。
- 可编辑的页面源码:能改 HTML 模板、能往
<head>里插入<script>的位置。静态站点、服务端渲染框架、带模板系统的 CMS 都可以。 - 站点根目录的写权限:robots.txt、sitemap.xml、可选的 llms.txt 都要放在根路径下,例如
https://example.com/robots.txt。 - 能查看原始响应:用浏览器开发者工具的「查看源代码」或
curl看服务端返回的第一份 HTML,而不是渲染后的 DOM。判断正文是否在初始 HTML 里,只能靠这个。 - 一份页面清单:先列出哪些页面是「希望被读到的」(文章、产品介绍、文档),哪些是登录后或纯交互页面。后面的策略按页面类型分别决定。
- 结构化数据校验手段:至少能对 JSON-LD 做一次 JSON 语法校验;Google 提供的富媒体搜索结果测试工具可以用来检查字段是否被识别,具体可用性以其当前页面说明为准。
另外要建立一个心态上的前提:robots.txt 是约定而非强制访问控制,llms.txt 是提案而非标准。这两点会贯穿全文,也决定了哪些信息根本不该靠「声明」来保护。
操作步骤
第一步:把 div 堆成的页面改成语义结构
先看一个典型的问题写法:整页都是 div 加 class,机器读到的只有一串无语义的容器,标题、正文、导航在标签层面没有区别。
<div class="header">
<div class="logo">My Blog</div>
<div class="menu">
<div><a href="/">首页</a></div>
<div><a href="/posts">文章</a></div>
</div>
</div>
<div class="content">
<div class="title">什么是 AIO</div>
<div class="date">2026-11-18</div>
<div class="text">正文……</div>
</div>
<div class="footer">© 2026</div>
改成用标签本身表达含义:
<header>
<p class="logo">My Blog</p>
<nav aria-label="主导航">
<ul>
<li><a href="/">首页</a></li>
<li><a href="/posts">文章</a></li>
</ul>
</nav>
</header>
<main>
<article>
<h1>什么是 AIO</h1>
<p><time datetime="2026-11-18">2026 年 11 月 18 日</time></p>
<p>正文……</p>
</article>
</main>
<footer>© 2026</footer>
要点逐条对照:
- 页面主体内容放进
<main>,一个页面只放一个。 - 能独立成篇的内容(文章、卡片)用
<article>;导航区域用<nav>,并可用aria-label区分多个导航块。 - 标题按
h1→h2→h3的层级使用,不要跳级。不要为了字号去选标题标签,字号交给 CSS。 - 日期用
<time datetime="...">给出机器可解析的格式,显示文本可以写成人读的形式。 - 图片写有意义的
alt,纯装饰图用空alt。
这套做法同时是无障碍的常规要求:屏幕阅读器依赖的正是同一套结构信息。也就是说,「对人友好」和「对机器可读」在这里是同一件事,不需要维护两套。
关于客户端渲染的坑:如果正文只有在 JavaScript 执行后才出现在 DOM 里,那么不执行 JS 的读取方拿到的初始 HTML 就是空的。是否执行 JS 由读取方决定,作者无法控制。因此希望被读到的正文,应当出现在第一次 HTML 响应中,也就是采用服务端渲染或静态生成。用 React Native / Expo 之类技术栈输出 Web 页面时,介绍页、文档页这类「希望被读到」的页面尤其要注意这一点。
第二步:用 JSON-LD 补充页面语义
语义 HTML 描述的是文档骨架,结构化数据描述的是「这个页面是关于什么的」:是文章还是应用、作者是谁、发布时间是什么。Schema.org 提供词汇表,JSON-LD 是推荐的承载格式。把 <script type="application/ld+json"> 放在 <head> 或 <body> 内都可以。
文章页的最小示例:
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "Article",
"headline": "什么是 AIO",
"datePublished": "2026-11-18T09:00:00+09:00",
"dateModified": "2026-11-18T09:00:00+09:00",
"author": [
{
"@type": "Person",
"name": "作者姓名",
"url": "https://example.com/about"
}
],
"image": ["https://example.com/cover.jpg"]
}
</script>
Article 类型没有强制必填属性,官方文档的口径是「尽量填写适用的推荐属性」。所以不必为了凑字段编造内容,但 headline、datePublished、author、image 这类页面上一眼可见的信息,值得如实填上。
应用介绍页可以用 SoftwareApplication:
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "SoftwareApplication",
"name": "示例应用",
"operatingSystem": "iOS",
"applicationCategory": "LifestyleApplication",
"offers": {
"@type": "Offer",
"price": "0",
"priceCurrency": "JPY"
}
}
</script>
这里有两条必须守住的规则:
- 结构化数据必须与页面可见内容一致。页面上没写的评分、价格、下载量,不要只写进 JSON-LD。这类不一致既可能被判定为作弊,也会让读取方得到错误结论。
- 没有真实评价就不要加评价字段。如果目标是让搜索结果出现软件应用的富媒体展示,除了上面的基础字段,还有
name、offers.price、以及aggregateRating或review等额外要求;但评价必须真实存在,不能为了展示效果虚构。
从 Schema.org 词汇表的角度看,上面的最小形态本身就是合法的;具体类型和属性可以到 Schema.org 对应条目下查。同样要提醒:加了结构化数据不等于某个 AI 代理就会使用它,这只是一种把语义显式写出来的做法。
第三步:用 robots.txt 区分不同用途的抓取者
这一步最容易做错的地方,是把所有 AI 相关的抓取者当成一类。实际上它们的用途差别很大:有的用于训练基础模型,有的用于把站点放进搜索结果的索引,还有的是用户当场提问时触发的访问。下面这张表按用途归类,名称与用途可能随时间变化,配置前请以各提供方当前文档为准。
| User-Agent 标识 | 提供方 | 文档中描述的用途 |
|---|---|---|
| GPTBot | OpenAI | 抓取可能用于生成式基础模型训练的内容 |
| OAI-SearchBot | OpenAI | 让站点出现在 ChatGPT 搜索功能的结果中 |
| ChatGPT-User | OpenAI | 由用户操作触发的访问,不是自动抓取;文档说明 robots.txt 规则在某些情况下不适用 |
| ClaudeBot | Anthropic | 收集可能用于生成式模型训练的网页内容 |
| Claude-SearchBot | Anthropic | 为提升搜索结果质量而抓取 |
| Claude-User | Anthropic | Claude 用户提问时触发的访问 |
| Google-Extended | 控制已抓取内容是否用于未来 Gemini 模型的训练等用途;不影响是否出现在 Google 搜索中;它不是独立的 HTTP User-Agent 字符串 | |
| PerplexityBot | Perplexity | 让站点出现在 Perplexity 搜索结果中并建立链接;文档说明不用于基础模型训练 |
| Perplexity-User | Perplexity | 由用户操作触发的访问 |
假设站点策略是「不希望内容用于模型训练,但希望出现在搜索结果里」,可以这样写:
# 拒绝用于生成式模型训练的抓取
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# 允许用于搜索结果展示的抓取
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# 其余抓取者按常规处理
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml
如果策略是全部允许,那么什么都不写,或者只写 User-agent: * 加 Allow: / 就够了。没有普适的正确答案,取决于站点自己的意愿。
几个必须理解的前提:
- robots.txt 不是强制机制。协议规范 RFC 9309 明确说明这些规则不构成访问授权的一种形式,是否遵守取决于抓取方。真正不能公开的信息,应当加认证或干脆不放到线上。
- 用户触发的访问可能不遵循 robots.txt。表中 ChatGPT-User、Claude-User、Perplexity-User 这类由用户当场操作引发的请求,行为与自动抓取者不同,不能指望用 robots.txt 拦住。
- 可以配合 IP 段做校验。OpenAI、Perplexity 等提供方公开了抓取者的 IP 地址范围,在 WAF 或反向代理层可以据此识别「只伪造了 User-Agent」的请求。具体地址段以各提供方当前文档为准。
第四步:可选地放置 llms.txt 作为入口说明
llms.txt 是一个提案:在站点根路径(如 /llms.txt)放一份 Markdown 文件,用简洁的方式告诉 AI 代理这个站点是什么、主要内容在哪里。它不是标准,规范页面本身的措辞就是「我们提议」;也没有证据表明所有 AI 服务都会读取它。因此不要相信「放了就能提升排名或被引用」这类没有依据的说法。
值得一试的理由只有一个:成本很低。提案中的结构如下:
- 一个 H1,写站点或项目名称,这是唯一必需的元素。
- 一个引用块,写简短摘要。
- 可选的补充 Markdown 说明(不使用标题层级)。
- 可选的若干 H2 分组,每组下面用
[名称](URL): 补充说明的形式列链接。 ## Optional是约定俗成的分组,表示内容需要精简时可以跳过的次要信息。
示例:
# My Blog
> 一个记录 AI 代理与应用开发实践的技术博客,文章为中文,代码示例直接写在正文中。
## 文章
- [什么是 AIO](https://example.com/posts/aio): 语义 HTML、JSON-LD、robots.txt 与 llms.txt 入门
- [用 Expo 构建应用](https://example.com/posts/expo): Expo / React Native 开发笔记
## 关于
- [作者介绍](https://example.com/about): 作者背景与联系方式
## Optional
- [历史文章列表](https://example.com/archive)
提案还建议链接目标提供去掉广告与导航的 Markdown 版本(例如 page.html.md 或 page.md),让读取方拿到干净正文。角色分工要分清:robots.txt 表达允许或拒绝,llms.txt 只是指路,两者不能互相替代。
第五步:让数据更容易被取到,并保证性能
这一步最不显眼,但最接近工程本身。目标是让读取方不必靠解析整页 HTML 才能拿到信息。
- URL 稳定且唯一:同一内容不要散落在多个 URL 上。用
<link rel="canonical" href="https://example.com/posts/aio">指明规范地址。 - 提供机器可用的出口:
sitemap.xml、RSS / Atom 订阅源;数据本身可以公开的话,再提供一个 JSON 接口。有现成接口,读取方和作者都省事。 - 状态码要正确:不存在的页面返回 404,不要返回 200 加一句「页面不存在」(软 404)。重定向用 301 / 302,不要用 200 页面承载跳转逻辑。
- 页面要轻要快:过重的页面会影响抓取量和超时表现,对人也是糟糕体验。什么算「快」应当靠实测数据判断,而不是拍一个数字。
- 无障碍细节:键盘可操作、图片有
alt、表单控件有关联的label。和语义 HTML 一样,这些同时服务于人和机器。
一个完整示例
下面把一个文章页从零拼到位,包含语义结构、JSON-LD、canonical,以及配套的 robots.txt 与 llms.txt。示例域名统一用 example.com。
1. 文章页 HTML
<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width, initial-scale=1">
<title>什么是 AIO</title>
<meta name="description" content="用语义 HTML、JSON-LD 与 robots.txt 让页面更容易被机器正确读取。">
<link rel="canonical" href="https://example.com/posts/aio">
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "Article",
"headline": "什么是 AIO",
"datePublished": "2026-11-18T09:00:00+09:00",
"dateModified": "2026-11-18T09:00:00+09:00",
"author": [
{ "@type": "Person", "name": "作者姓名", "url": "https://example.com/about" }
],
"image": ["https://example.com/cover.jpg"]
}
</script>
</head>
<body>
<header>
<p class="logo">My Blog</p>
<nav aria-label="主导航">
<ul>
<li><a href="/">首页</a></li>
<li><a href="/posts">文章</a></li>
</ul>
</nav>
</header>
<main>
<article>
<h1>什么是 AIO</h1>
<p><time datetime="2026-11-18">2026 年 11 月 18 日</time></p>
<p>正文第一段……</p>
<h2>语义 HTML</h2>
<p>正文……</p>
</article>
</main>
<footer>© 2026 My Blog</footer>
</body>
</html>
2. 根路径的 robots.txt
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml
3. 根路径的 llms.txt
# My Blog
> 记录 AI 代理与应用开发实践的技术博客,文章为中文。
## 文章
- [什么是 AIO](https://example.com/posts/aio): 语义 HTML、JSON-LD、robots.txt 与 llms.txt 入门
## Optional
- [历史文章列表](https://example.com/archive)
4. 验证
- 用
curl -s https://example.com/posts/aio | head -n 40确认标题与正文出现在初始 HTML 中,而不是只在渲染后的 DOM 里。 - 把 JSON-LD 内容单独抽出来做一次 JSON 语法校验,字段名与 Schema.org 条目对齐。
- 访问
https://example.com/robots.txt与https://example.com/llms.txt,确认返回 200 且内容为纯文本。 - 访问一个不存在的路径,确认返回 404 而不是 200。
注意事项
- robots.txt 只是意愿表达。规范明确它不构成访问控制,遵守与否由抓取方决定。敏感内容必须靠认证或不上线来保护。
- 用户触发的代理访问可能不受 robots.txt 约束。ChatGPT-User、Claude-User、Perplexity-User 这类请求由用户操作引发,文档中已说明其行为与自动抓取者不同。
- Google-Extended 不是独立的 User-Agent 字符串,它只控制已抓取内容是否用于 Gemini 相关训练等用途,不影响页面是否出现在 Google 搜索中。
- llms.txt 是提案,不是标准,也没有证据表明所有 AI 服务都会读取。把它当作低成本的补充说明,不要当作排名手段。
- 结构化数据必须与可见内容一致。页面没有的价格、评分、评价不要写进 JSON-LD;没有真实评价就不要加
aggregateRating或review。 - 客户端渲染会隐藏正文。如果正文只在 JS 执行后出现,不执行 JS 的读取方看到的是空页面。重要内容应出现在首次 HTML 响应中。
- 抓取者名称与用途会变化。上表中的标识与用途描述可能随提供方文档更新而调整,配置前请核对各提供方当前文档;robots.txt 中的 IP 段校验同理。
- 不要用标题标签调字号。层级跳级或为视觉大小选标签,会破坏机器对文档结构的判断,字号问题交给 CSS。
- 软 404 会误导读取方。不存在的页面返回 200,会让抓取方把错误页当成正常内容收录。
- 任何「保证被 AI 收录」的说法都缺乏依据。不同代理的解析方式不公开且会变化,长期有效的做法是遵循标准、如实描述内容。
把上面五步落到自己的站点上,可以先做一份自查:主要内容和标题是否用 main、article、h1 到 h3 组织;正文是否在 JS 执行前就存在于 HTML;JSON-LD 是否与页面内容一致;robots.txt 是否按训练、搜索、用户触发三类分别表达了意愿;是否设置了 canonical、站点地图,并让错误页返回正确状态码;最后,是否用实测数据确认过页面加载表现。这些检查项不依赖任何特定 AI 产品,因此不会因为某个代理更换实现而失效。