pagesift - 面向 AI 智能体与 LLM 流水线的内存受限网页抓取与提取引擎

pagesift 是一个用 Rust 编写的网页抓取与内容提取引擎，仓库由维护者 YOLOW92 托管在 GitHub 上。按项目自述，它的目标是把任意网站、文档或压缩包转换成干净的 Markdown 与结构化数据，并以单个二进制文件的形式交付，同时提供原生 SDK，以及兼容 Firecrawl v1/v2 与 Jina Reader 的 API 接口。从定位看，它面向的是需要为 AI 智能体、检索增强生成（RAG）流水线和 LLM 数据准备批量获取网页正文的开发者与团队——这类场景通常既要处理 HTML 页面，也要处理 PDF、Office 文档和电子书，还要在有限内存下维持吞吐。需要说明的是，以下关于能力与性能的描述均来自项目自述，本文未对项目进行实际运行验证。

维护者与状态

仓库由 YOLOW92 维护，创建于 2026-10-20，最后一次提交时间为 2026-10-29。最新正式版本为 v0.81.2，发布于 2026-10-29。截至 2026-10-30 读取数据时，仓库星标数为 175。从创建到最新版本只经过约十天，版本号已推进到 0.81.x，说明项目处于高频迭代阶段；素材中也提到 0.80 系列存在多个连续的小版本更新，并明确说明没有 0.80.4 与 0.80.6–0.80.8 这几个版本号。

主要能力

据项目说明，pagesift 的能力大致可以分成以下几块：

• 多格式内容转换。项目自述支持把 HTML、PDF、Word、Excel、PowerPoint、CSV、EPUB 等格式转换为 Markdown 或结构化数据，并强调在转换过程中保留文档结构。README 中称，在 Office 与电子书的结构保留测试中，pagesift 的得分为 0.988。
• 正文提取与元数据识别。项目自述包含主内容提取与发布日期识别能力，可用于从资讯页、列表页中剥离导航与侧栏，得到正文与时间信息。
• 聚焦抓取（focused crawl）。据项目说明，crawl --query … --adaptive 可以围绕一个查询词集合在站点内自适应地扩展抓取范围，不需要手动指定 --limit：当页面不再带来新的相关内容时自动停止，未指定上限时以 500 作为封顶。0.81.0 起，相关性评分按查询的各个侧面（facet）分别估计，标题、URL 与各级标题的权重高于正文。
• 自适应浏览器升级。项目自述 engine: auto 会在提取出的主内容不再改善时停止升级到浏览器渲染，用导航与稳定时间的在线分布替代固定等待秒数，以减少不必要的渲染开销。
• 内存感知调度。据项目说明，引擎会读取 cgroup v2 的 memory.max 并据此调整自身规模；素材中给出的示例是在 768 MiB 限制下稳定在 380 个连接。
• 结果质量告警。项目自述会把「结果看起来正常但实际不完整」的情况（如 PDF 丢页、文本过薄、输出被截断、页面只是空壳）写入 Firecrawl 兼容响应中的 data.warning 字段，并在 crawl --out 时额外生成 summary.json。
• 接口兼容。项目自述提供兼容 Firecrawl v1/v2 与 Jina Reader 的 API，便于已有客户端直接切换。

素材中还列出了大量与其他工具的性能对比数字。这些数字由项目方自行测量，测量口径、硬件环境与对手版本均由项目方选定，本文不转述具体倍率，也不做横向比较；有需要的读者应以仓库中的基准报告原文为准。

使用入口

项目源码与发布信息位于 YOLOW92/pagesift。据项目说明，它以单个 Rust 二进制形式分发，并提供原生 SDK；抓取、转换等操作通过命令行子命令调用，例如素材中出现的 scrape、crawl、map 与 doctor，其中 doctor 会尝试启动各个引擎并在某个引擎无法运行时给出警告。具体的安装步骤、SDK 语言绑定与完整参数列表，请以仓库 README 与各版本发布说明为准。

许可与限制

仓库采用 AGPL-3.0 许可证。AGPL-3.0 属于强 copyleft 许可，并通过网络交互条款把分发义务延伸到以服务形式提供修改版的情形；在把 pagesift 集成进对外提供的服务之前，应自行确认合规边界，本文不代为给出法律结论。

关于已知限制，项目自述中明确承认了若干落后项：在 A2 回放（269 页、单 worker）场景下，0.81.2 本地回放为 3.1 页/秒，而对比工具 spider 为 156.6 页/秒；快速模式下 40 个站点 × 60 页耗时 16.6 秒，spider 为 1.4 秒；B5 的 134 页任务完成度为 0.112，而 Docling（GPU）为 1.000。此外，素材中提到的 2 亿请求饱和测试是在 192 vCPU 的本地合成源上完成的，项目方自己注明「不是真实互联网速度」，不应据此推断公网抓取表现。Office、Excel、PowerPoint、CSV 与 EPUB 的文本输出在 16 MB 处截断并标记 output_truncated，这是设计上的边界而非缺陷。项目创建时间很短，版本号仍处于 0.x，接口与行为在后续版本中可能继续调整。