AWS 博客：用 Crawl4AI 为 Amazon Bedrock 知识库准备网页内容

核心事实

AWS 官方博客发布技术文章，介绍如何用开源 Python 爬虫 Crawl4AI 为 Amazon Bedrock Knowledge Bases 准备网页内容。文章称，对于公开网页内容，应优先使用 Amazon Bedrock Web Crawler 数据源连接器：用户提供获授权抓取的种子 URL 或站点地图，连接器在设定的范围和速率限制内抓取，按计划同步，并可等待依赖 JavaScript 加载的内容。当需要只索引页面正文、去除导航等模板内容，或为每份文档附加自定义元数据时，可增加 Crawl4AI 预处理步骤：把每个页面的 Markdown 与元数据附属文件写入 Amazon Simple Storage Service（Amazon S3），再由知识库通过 S3 数据源摄取。

背景与影响

文章指出，检索增强生成（RAG）应用的答案质量取决于摄取的数据。Amazon Bedrock Knowledge Bases 是 Amazon Bedrock 的全托管 RAG 能力，摄取、存储、索引与检索由服务管理，嵌入与重排序默认使用服务托管模型。示例流程由 Amazon EventBridge 按计划启动 AWS Fargate 上的 Amazon ECS 任务，任务抓取网页、上传文件到 S3，并启动知识库摄取作业；非敏感配置从 AWS Systems Manager Parameter Store 读取。文章强调，这属于对已知站点的批量摄取，并非推理时的实时网页访问。由于托管与自管知识库都支持 S3 数据源，该路径对两者均适用。

限制与来源

文章说明，示例仅处理公开页面，未实现需登录站点的认证会话；如需认证，应先评估 Amazon Bedrock Web Crawler 提供的基本、表单与 SAML 认证选项。文章还提示，Markdown 的正文裁剪属于启发式处理，应检查代表性输出。示例的架构与默认值只是起点，并非 Amazon Bedrock Knowledge Bases 的硬性要求。本文信息来自 AWS 博客文章，具体功能、可用范围与计费请以 AWS 官网当前信息为准。