AB
AiBoss
チュートリアル

用语义 HTML、JSON-LD 与 robots.txt 让页面被 AI 代理正确读取

チュートリアル

用语义 HTML、JSON-LD 与 robots.txt 让页面被 AI 代理正确读取

面向 AI 代理优化(AIO)的页面改造教程:用语义标签讲清文档结构,用 JSON-LD 补充机器可读的实体信息,用 robots.txt 区分学习型、搜索型与用户触发的抓取,并配合 llms.txt、canonical、站点地图与性能细节,让页面在人和机器两侧都更容易被正确理解。

搜索引擎抓取网页的时代还没有结束,但越来越多的访问来自 AI 代理:它们读取页面、抽取结构、把内容拼进回答或动作里。对页面作者来说,这意味着「看起来清楚」已经不够,还要让不渲染视觉的机器也能分清哪里是标题、哪里是正文、哪里是导航,以及这个页面究竟在讲什么。本教程把这类工作称为 AIO(AI Optimization,面向 AI 的优化),围绕四件事展开:语义 HTML、JSON-LD 结构化数据、面向 AI 抓取者的 robots.txt 与 llms.txt、以及数据获取的便利性与性能。需要先说明的是,这里讲的都是规范与文档中写明的「机器易读做法」和「向抓取者表达意愿的方法」,并不承诺某个具体 AI 产品一定会读取或引用你的页面——各家代理内部如何解析站点,属于未公开的实现细节,不应作为写作依据。

准备工作

这套改造基本不需要额外账号或付费服务,动手前确认以下几项即可。

  • 可编辑的页面源码:能改 HTML 模板、能往 <head> 里插入 <script> 的位置。静态站点、服务端渲染框架、带模板系统的 CMS 都可以。
  • 站点根目录的写权限:robots.txt、sitemap.xml、可选的 llms.txt 都要放在根路径下,例如 https://example.com/robots.txt。
  • 能查看原始响应:用浏览器开发者工具的「查看源代码」或 curl 看服务端返回的第一份 HTML,而不是渲染后的 DOM。判断正文是否在初始 HTML 里,只能靠这个。
  • 一份页面清单:先列出哪些页面是「希望被读到的」(文章、产品介绍、文档),哪些是登录后或纯交互页面。后面的策略按页面类型分别决定。
  • 结构化数据校验手段:至少能对 JSON-LD 做一次 JSON 语法校验;Google 提供的富媒体搜索结果测试工具可以用来检查字段是否被识别,具体可用性以其当前页面说明为准。

另外要建立一个心态上的前提:robots.txt 是约定而非强制访问控制,llms.txt 是提案而非标准。这两点会贯穿全文,也决定了哪些信息根本不该靠「声明」来保护。

操作步骤

第一步:把 div 堆成的页面改成语义结构

先看一个典型的问题写法:整页都是 div 加 class,机器读到的只有一串无语义的容器,标题、正文、导航在标签层面没有区别。

<div class="header">
  <div class="logo">My Blog</div>
  <div class="menu">
    <div><a href="/">首页</a></div>
    <div><a href="/posts">文章</a></div>
  </div>
</div>
<div class="content">
  <div class="title">什么是 AIO</div>
  <div class="date">2026-11-18</div>
  <div class="text">正文……</div>
</div>
<div class="footer">© 2026</div>

改成用标签本身表达含义:

<header>
  <p class="logo">My Blog</p>
  <nav aria-label="主导航">
    <ul>
      <li><a href="/">首页</a></li>
      <li><a href="/posts">文章</a></li>
    </ul>
  </nav>
</header>
<main>
  <article>
    <h1>什么是 AIO</h1>
    <p><time datetime="2026-11-18">2026 年 11 月 18 日</time></p>
    <p>正文……</p>
  </article>
</main>
<footer>© 2026</footer>

要点逐条对照:

  • 页面主体内容放进 <main>,一个页面只放一个。
  • 能独立成篇的内容(文章、卡片)用 <article>;导航区域用 <nav>,并可用 aria-label 区分多个导航块。
  • 标题按 h1 → h2 → h3 的层级使用,不要跳级。不要为了字号去选标题标签,字号交给 CSS。
  • 日期用 <time datetime="..."> 给出机器可解析的格式,显示文本可以写成人读的形式。
  • 图片写有意义的 alt,纯装饰图用空 alt。

这套做法同时是无障碍的常规要求:屏幕阅读器依赖的正是同一套结构信息。也就是说,「对人友好」和「对机器可读」在这里是同一件事,不需要维护两套。

关于客户端渲染的坑:如果正文只有在 JavaScript 执行后才出现在 DOM 里,那么不执行 JS 的读取方拿到的初始 HTML 就是空的。是否执行 JS 由读取方决定,作者无法控制。因此希望被读到的正文,应当出现在第一次 HTML 响应中,也就是采用服务端渲染或静态生成。用 React Native / Expo 之类技术栈输出 Web 页面时,介绍页、文档页这类「希望被读到」的页面尤其要注意这一点。

第二步:用 JSON-LD 补充页面语义

语义 HTML 描述的是文档骨架,结构化数据描述的是「这个页面是关于什么的」:是文章还是应用、作者是谁、发布时间是什么。Schema.org 提供词汇表,JSON-LD 是推荐的承载格式。把 <script type="application/ld+json"> 放在 <head> 或 <body> 内都可以。

文章页的最小示例:

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "Article",
  "headline": "什么是 AIO",
  "datePublished": "2026-11-18T09:00:00+09:00",
  "dateModified": "2026-11-18T09:00:00+09:00",
  "author": [
    {
      "@type": "Person",
      "name": "作者姓名",
      "url": "https://example.com/about"
    }
  ],
  "image": ["https://example.com/cover.jpg"]
}
</script>

Article 类型没有强制必填属性,官方文档的口径是「尽量填写适用的推荐属性」。所以不必为了凑字段编造内容,但 headline、datePublished、author、image 这类页面上一眼可见的信息,值得如实填上。

应用介绍页可以用 SoftwareApplication:

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "SoftwareApplication",
  "name": "示例应用",
  "operatingSystem": "iOS",
  "applicationCategory": "LifestyleApplication",
  "offers": {
    "@type": "Offer",
    "price": "0",
    "priceCurrency": "JPY"
  }
}
</script>

这里有两条必须守住的规则:

  • 结构化数据必须与页面可见内容一致。页面上没写的评分、价格、下载量,不要只写进 JSON-LD。这类不一致既可能被判定为作弊,也会让读取方得到错误结论。
  • 没有真实评价就不要加评价字段。如果目标是让搜索结果出现软件应用的富媒体展示,除了上面的基础字段,还有 name、offers.price、以及 aggregateRating 或 review 等额外要求;但评价必须真实存在,不能为了展示效果虚构。

从 Schema.org 词汇表的角度看,上面的最小形态本身就是合法的;具体类型和属性可以到 Schema.org 对应条目下查。同样要提醒:加了结构化数据不等于某个 AI 代理就会使用它,这只是一种把语义显式写出来的做法。

第三步:用 robots.txt 区分不同用途的抓取者

这一步最容易做错的地方,是把所有 AI 相关的抓取者当成一类。实际上它们的用途差别很大:有的用于训练基础模型,有的用于把站点放进搜索结果的索引,还有的是用户当场提问时触发的访问。下面这张表按用途归类,名称与用途可能随时间变化,配置前请以各提供方当前文档为准。

User-Agent 标识提供方文档中描述的用途
GPTBotOpenAI抓取可能用于生成式基础模型训练的内容
OAI-SearchBotOpenAI让站点出现在 ChatGPT 搜索功能的结果中
ChatGPT-UserOpenAI由用户操作触发的访问,不是自动抓取;文档说明 robots.txt 规则在某些情况下不适用
ClaudeBotAnthropic收集可能用于生成式模型训练的网页内容
Claude-SearchBotAnthropic为提升搜索结果质量而抓取
Claude-UserAnthropicClaude 用户提问时触发的访问
Google-ExtendedGoogle控制已抓取内容是否用于未来 Gemini 模型的训练等用途;不影响是否出现在 Google 搜索中;它不是独立的 HTTP User-Agent 字符串
PerplexityBotPerplexity让站点出现在 Perplexity 搜索结果中并建立链接;文档说明不用于基础模型训练
Perplexity-UserPerplexity由用户操作触发的访问

假设站点策略是「不希望内容用于模型训练,但希望出现在搜索结果里」,可以这样写:

# 拒绝用于生成式模型训练的抓取
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# 允许用于搜索结果展示的抓取
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# 其余抓取者按常规处理
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

如果策略是全部允许,那么什么都不写,或者只写 User-agent: * 加 Allow: / 就够了。没有普适的正确答案,取决于站点自己的意愿。

几个必须理解的前提:

  • robots.txt 不是强制机制。协议规范 RFC 9309 明确说明这些规则不构成访问授权的一种形式,是否遵守取决于抓取方。真正不能公开的信息,应当加认证或干脆不放到线上。
  • 用户触发的访问可能不遵循 robots.txt。表中 ChatGPT-User、Claude-User、Perplexity-User 这类由用户当场操作引发的请求,行为与自动抓取者不同,不能指望用 robots.txt 拦住。
  • 可以配合 IP 段做校验。OpenAI、Perplexity 等提供方公开了抓取者的 IP 地址范围,在 WAF 或反向代理层可以据此识别「只伪造了 User-Agent」的请求。具体地址段以各提供方当前文档为准。

第四步:可选地放置 llms.txt 作为入口说明

llms.txt 是一个提案:在站点根路径(如 /llms.txt)放一份 Markdown 文件,用简洁的方式告诉 AI 代理这个站点是什么、主要内容在哪里。它不是标准,规范页面本身的措辞就是「我们提议」;也没有证据表明所有 AI 服务都会读取它。因此不要相信「放了就能提升排名或被引用」这类没有依据的说法。

值得一试的理由只有一个:成本很低。提案中的结构如下:

  • 一个 H1,写站点或项目名称,这是唯一必需的元素。
  • 一个引用块,写简短摘要。
  • 可选的补充 Markdown 说明(不使用标题层级)。
  • 可选的若干 H2 分组,每组下面用 [名称](URL): 补充说明 的形式列链接。
  • ## Optional 是约定俗成的分组,表示内容需要精简时可以跳过的次要信息。

示例:

# My Blog

> 一个记录 AI 代理与应用开发实践的技术博客,文章为中文,代码示例直接写在正文中。

## 文章

- [什么是 AIO](https://example.com/posts/aio): 语义 HTML、JSON-LD、robots.txt 与 llms.txt 入门
- [用 Expo 构建应用](https://example.com/posts/expo): Expo / React Native 开发笔记

## 关于

- [作者介绍](https://example.com/about): 作者背景与联系方式

## Optional

- [历史文章列表](https://example.com/archive)

提案还建议链接目标提供去掉广告与导航的 Markdown 版本(例如 page.html.md 或 page.md),让读取方拿到干净正文。角色分工要分清:robots.txt 表达允许或拒绝,llms.txt 只是指路,两者不能互相替代。

第五步:让数据更容易被取到,并保证性能

这一步最不显眼,但最接近工程本身。目标是让读取方不必靠解析整页 HTML 才能拿到信息。

  • URL 稳定且唯一:同一内容不要散落在多个 URL 上。用 <link rel="canonical" href="https://example.com/posts/aio"> 指明规范地址。
  • 提供机器可用的出口:sitemap.xml、RSS / Atom 订阅源;数据本身可以公开的话,再提供一个 JSON 接口。有现成接口,读取方和作者都省事。
  • 状态码要正确:不存在的页面返回 404,不要返回 200 加一句「页面不存在」(软 404)。重定向用 301 / 302,不要用 200 页面承载跳转逻辑。
  • 页面要轻要快:过重的页面会影响抓取量和超时表现,对人也是糟糕体验。什么算「快」应当靠实测数据判断,而不是拍一个数字。
  • 无障碍细节:键盘可操作、图片有 alt、表单控件有关联的 label。和语义 HTML 一样,这些同时服务于人和机器。

一个完整示例

下面把一个文章页从零拼到位,包含语义结构、JSON-LD、canonical,以及配套的 robots.txt 与 llms.txt。示例域名统一用 example.com。

1. 文章页 HTML

<!DOCTYPE html>
<html lang="zh-CN">
<head>
  <meta charset="utf-8">
  <meta name="viewport" content="width=device-width, initial-scale=1">
  <title>什么是 AIO</title>
  <meta name="description" content="用语义 HTML、JSON-LD 与 robots.txt 让页面更容易被机器正确读取。">
  <link rel="canonical" href="https://example.com/posts/aio">
  <script type="application/ld+json">
  {
    "@context": "https://schema.org",
    "@type": "Article",
    "headline": "什么是 AIO",
    "datePublished": "2026-11-18T09:00:00+09:00",
    "dateModified": "2026-11-18T09:00:00+09:00",
    "author": [
      { "@type": "Person", "name": "作者姓名", "url": "https://example.com/about" }
    ],
    "image": ["https://example.com/cover.jpg"]
  }
  </script>
</head>
<body>
  <header>
    <p class="logo">My Blog</p>
    <nav aria-label="主导航">
      <ul>
        <li><a href="/">首页</a></li>
        <li><a href="/posts">文章</a></li>
      </ul>
    </nav>
  </header>
  <main>
    <article>
      <h1>什么是 AIO</h1>
      <p><time datetime="2026-11-18">2026 年 11 月 18 日</time></p>
      <p>正文第一段……</p>
      <h2>语义 HTML</h2>
      <p>正文……</p>
    </article>
  </main>
  <footer>© 2026 My Blog</footer>
</body>
</html>

2. 根路径的 robots.txt

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

3. 根路径的 llms.txt

# My Blog

> 记录 AI 代理与应用开发实践的技术博客,文章为中文。

## 文章

- [什么是 AIO](https://example.com/posts/aio): 语义 HTML、JSON-LD、robots.txt 与 llms.txt 入门

## Optional

- [历史文章列表](https://example.com/archive)

4. 验证

  • 用 curl -s https://example.com/posts/aio | head -n 40 确认标题与正文出现在初始 HTML 中,而不是只在渲染后的 DOM 里。
  • 把 JSON-LD 内容单独抽出来做一次 JSON 语法校验,字段名与 Schema.org 条目对齐。
  • 访问 https://example.com/robots.txt 与 https://example.com/llms.txt,确认返回 200 且内容为纯文本。
  • 访问一个不存在的路径,确认返回 404 而不是 200。

注意事项

  • robots.txt 只是意愿表达。规范明确它不构成访问控制,遵守与否由抓取方决定。敏感内容必须靠认证或不上线来保护。
  • 用户触发的代理访问可能不受 robots.txt 约束。ChatGPT-User、Claude-User、Perplexity-User 这类请求由用户操作引发,文档中已说明其行为与自动抓取者不同。
  • Google-Extended 不是独立的 User-Agent 字符串,它只控制已抓取内容是否用于 Gemini 相关训练等用途,不影响页面是否出现在 Google 搜索中。
  • llms.txt 是提案,不是标准,也没有证据表明所有 AI 服务都会读取。把它当作低成本的补充说明,不要当作排名手段。
  • 结构化数据必须与可见内容一致。页面没有的价格、评分、评价不要写进 JSON-LD;没有真实评价就不要加 aggregateRating 或 review。
  • 客户端渲染会隐藏正文。如果正文只在 JS 执行后出现,不执行 JS 的读取方看到的是空页面。重要内容应出现在首次 HTML 响应中。
  • 抓取者名称与用途会变化。上表中的标识与用途描述可能随提供方文档更新而调整,配置前请核对各提供方当前文档;robots.txt 中的 IP 段校验同理。
  • 不要用标题标签调字号。层级跳级或为视觉大小选标签,会破坏机器对文档结构的判断,字号问题交给 CSS。
  • 软 404 会误导读取方。不存在的页面返回 200,会让抓取方把错误页当成正常内容收录。
  • 任何「保证被 AI 收录」的说法都缺乏依据。不同代理的解析方式不公开且会变化,长期有效的做法是遵循标准、如实描述内容。

把上面五步落到自己的站点上,可以先做一份自查:主要内容和标题是否用 main、article、h1 到 h3 组织;正文是否在 JS 执行前就存在于 HTML;JSON-LD 是否与页面内容一致;robots.txt 是否按训练、搜索、用户触发三类分别表达了意愿;是否设置了 canonical、站点地图,并让错误页返回正确状态码;最后,是否用实测数据确认过页面加载表现。这些检查项不依赖任何特定 AI 产品,因此不会因为某个代理更换实现而失效。