project
wigolo - 开源的本地搜索工具,支持接入多种编程 Agent
wigolo 是开源的本地搜索工具,通过 MCP 接入 Claude Code、Cursor 等编程 Agent。无需 API Key,零成本可在本地完成搜索、网页抓取、全站爬取、结构化提取、...
wigolo是什么
wigolo 是开源的本地搜索工具,通过 MCP 接入 Claude Code、Cursor 等编程 Agent。无需 API Key,零成本可在本地完成搜索、网页抓取、全站爬取、结构化提取、缓存和研究。工具支持 18 个搜索引擎并行查询,结果附带可解释评分与原文引用,所有数据保存在本地。
wigolo的主要功能
-
search:并行调用 18 个搜索引擎,通过设备端 ML 重排序返回带可解释评分的搜索结果。
-
fetch:分层路由抓取网页,从纯 HTTP 自动升级到无头浏览器,智能应对反爬和 SPA 页面。
-
crawl:支持 BFS、DFS 和站点地图模式的全站爬取,遵守 robots.txt 并自动去重。
-
extract:从页面中提取表格、元数据、JSON-LD 及自定义 JSON 模式的结构化数据。
-
cache:将抓取内容存入本地索引,支持关键词与语义检索,重复查询毫秒级响应且离线可用。
-
find_similar:通过关键词、语义和实时网页三方融合,找到与目标 URL 或概念相似的页面。
-
research:自动分解复杂问题为子查询,并行获取资源后合成带引用来源的结构化研究报告。
-
agent:执行”计划→搜索→获取→提取→合成”的自主收集循环,附带步骤日志和时间预算。
-
diff + watch:监控页面自上次访问后的变化,并将变更结果推送到指定 webhook。
微信关注回复“开源”,加入AI开源项目交流群
如何使用wigolo
-
环境准备:确保本地已安装 Node.js 20 或以上版本。
-
一键安装:运行
npx wigolo init自动下载浏览器引擎和模型,接入 Claude Code、Cursor 等 Agent。 -
健康检查:执行
npx wigolo health验证搜索、浏览器和设备端模型是否正常运行。 -
可选 LLM 配置:如需 research 或 agent 功能,设置免费 Gemini API Key 或本地 Ollama 模型。
-
Agent 中调用:在 Claude Code、Cursor 等支持 MCP 的 Agent 中直接通过自然语言调用搜索、抓取等工具。
-
CLI 直接使用:通过命令行运行
npx wigolo search/fetch/crawl等指令执行具体操作。 -
本地缓存复用:所有数据自动存储在
~/.wigolo/目录,支持离线复用和语义检索。
wigolo的核心优势
-
本地优先:所有搜索、抓取和缓存都在本机完成,数据不出设备,断网也能正常使用。
-
零成本零门槛:无需注册账号、无需 API Key,每条查询永久免费,一条命令即可接入主流 Agent。
-
结果完全可解释:每条搜索结果附带字节级原文摘录、引用 ID 和评分分解,质量高低一目了然。
-
多引擎并行搜索:18 个搜索引擎同时查询,通过排名融合和设备端 ML 重排序,确保结果全面且精准。
-
智能分层抓取:从纯 HTTP 自动升级到 TLS 伪装和无头浏览器,诚实应对反爬,失败即明确告知。
-
持久本地缓存:所有内容存入本地混合索引(关键词+语义向量),重复查询毫秒级响应。
wigolo的项目地址
- 项目官网:https://knockoutez.github.io/wigolo/
- GitHub仓库:https://github.com/KnockOutEZ/wigolo
wigolo的同类竞品对比
| 对比维度 | Wigolo | Firecrawl |
|---|---|---|
| 项目定位 | 本地优先的 AI Agent 网络智能层 | 云端网页抓取与结构化提取平台 |
| 核心主张 | 搜索、抓取、研究全在本地,零成本 | 将任意网站转为 LLM 可用的结构化数据 |
| 开发者 | @KnockOutEZ(个人开源) | Mendable(融资创业公司) |
| 许可证 | AGPL-3.0(永久开源免费) | 闭源商业产品 |
| 搜索能力 | 18 个搜索引擎并行,设备端 ML 重排序,结果带可解释评分 | 无内置搜索,需配合其他搜索 API |
| 网页抓取 | 分层路由(HTTP → TLS 伪装 → 无头浏览器) | 强大的抓取能力,支持动态渲染 |
| 全站爬取 | BFS/DFS/站点地图,遵守 robots.txt | 支持全站爬取和站点地图生成 |
| 结构化提取 | 表格、元数据、JSON-LD、自定义 JSON 模式 | 支持 LLM 提取和结构化数据输出 |
| 本地缓存 | 持久本地索引(关键词+语义向量),离线可用,重复查询免费 | 无本地缓存,每次抓取走云端 API |
| 结果可解释性 | 字节级原文摘录 + 引用 ID + 评分分解 | 返回结构化数据,无逐条评分和来源定位 |
wigolo的应用场景
-
AI 编程辅助:Agent 在写代码时自动搜索最新 API 文档、官方教程和最佳实践,无需手动切换浏览器。
-
技术调研与竞品分析:让 Agent 自主搜索、抓取多个技术博客和文档站点,合成带引用的结构化研究报告。
-
全站数据抓取:批量爬取产品目录、价格信息、论文库或新闻站点,提取表格和结构化数据到本地。
-
本地知识库构建:将频繁查阅的文档和网页缓存到本地,形成个人/团队的离线可检索知识库。
-
页面变更监控:持续监控竞品官网、文档更新页或价格页面,变更时通过 webhook 自动通知。