AB
AiBoss站
project

wigolo - 开源的本地搜索工具,支持接入多种编程 Agent

wigolo 是开源的本地搜索工具,通过 MCP 接入 Claude Code、Cursor 等编程 Agent。无需 API Key,零成本可在本地完成搜索、网页抓取、全站爬取、结构化提取、...

wigolo是什么

wigolo 是开源的本地搜索工具,通过 MCP 接入 Claude Code、Cursor 等编程 Agent。无需 API Key,零成本可在本地完成搜索、网页抓取、全站爬取、结构化提取、缓存和研究。工具支持 18 个搜索引擎并行查询,结果附带可解释评分与原文引用,所有数据保存在本地。

wigolo的主要功能

  • search:并行调用 18 个搜索引擎,通过设备端 ML 重排序返回带可解释评分的搜索结果。
  • fetch:分层路由抓取网页,从纯 HTTP 自动升级到无头浏览器,智能应对反爬和 SPA 页面。
  • crawl:支持 BFS、DFS 和站点地图模式的全站爬取,遵守 robots.txt 并自动去重。
  • extract:从页面中提取表格、元数据、JSON-LD 及自定义 JSON 模式的结构化数据。
  • cache:将抓取内容存入本地索引,支持关键词与语义检索,重复查询毫秒级响应且离线可用。
  • find_similar:通过关键词、语义和实时网页三方融合,找到与目标 URL 或概念相似的页面。
  • research:自动分解复杂问题为子查询,并行获取资源后合成带引用来源的结构化研究报告。
  • agent:执行”计划→搜索→获取→提取→合成”的自主收集循环,附带步骤日志和时间预算。
  • diff + watch:监控页面自上次访问后的变化,并将变更结果推送到指定 webhook。

微信关注回复“开源”,加入AI开源项目交流群

如何使用wigolo

  • 环境准备:确保本地已安装 Node.js 20 或以上版本。
  • 一键安装:运行 npx wigolo init 自动下载浏览器引擎和模型,接入 Claude Code、Cursor 等 Agent。
  • 健康检查:执行 npx wigolo health 验证搜索、浏览器和设备端模型是否正常运行。
  • 可选 LLM 配置:如需 research 或 agent 功能,设置免费 Gemini API Key 或本地 Ollama 模型。
  • Agent 中调用:在 Claude Code、Cursor 等支持 MCP 的 Agent 中直接通过自然语言调用搜索、抓取等工具。
  • CLI 直接使用:通过命令行运行 npx wigolo search/fetch/crawl 等指令执行具体操作。
  • 本地缓存复用:所有数据自动存储在 ~/.wigolo/ 目录,支持离线复用和语义检索。

wigolo的核心优势

  • 本地优先:所有搜索、抓取和缓存都在本机完成,数据不出设备,断网也能正常使用。
  • 零成本零门槛:无需注册账号、无需 API Key,每条查询永久免费,一条命令即可接入主流 Agent。
  • 结果完全可解释:每条搜索结果附带字节级原文摘录、引用 ID 和评分分解,质量高低一目了然。
  • 多引擎并行搜索:18 个搜索引擎同时查询,通过排名融合和设备端 ML 重排序,确保结果全面且精准。
  • 智能分层抓取:从纯 HTTP 自动升级到 TLS 伪装和无头浏览器,诚实应对反爬,失败即明确告知。
  • 持久本地缓存:所有内容存入本地混合索引(关键词+语义向量),重复查询毫秒级响应。

wigolo的项目地址

  • 项目官网:https://knockoutez.github.io/wigolo/
  • GitHub仓库:https://github.com/KnockOutEZ/wigolo

wigolo的同类竞品对比

对比维度 Wigolo Firecrawl
项目定位 本地优先的 AI Agent 网络智能层 云端网页抓取与结构化提取平台
核心主张 搜索、抓取、研究全在本地,零成本 将任意网站转为 LLM 可用的结构化数据
开发者 @KnockOutEZ(个人开源) Mendable(融资创业公司)
许可证 AGPL-3.0(永久开源免费) 闭源商业产品
搜索能力 18 个搜索引擎并行,设备端 ML 重排序,结果带可解释评分 无内置搜索,需配合其他搜索 API
网页抓取 分层路由(HTTP → TLS 伪装 → 无头浏览器) 强大的抓取能力,支持动态渲染
全站爬取 BFS/DFS/站点地图,遵守 robots.txt 支持全站爬取和站点地图生成
结构化提取 表格、元数据、JSON-LD、自定义 JSON 模式 支持 LLM 提取和结构化数据输出
本地缓存 持久本地索引(关键词+语义向量),离线可用,重复查询免费 无本地缓存,每次抓取走云端 API
结果可解释性 字节级原文摘录 + 引用 ID + 评分分解 返回结构化数据,无逐条评分和来源定位

wigolo的应用场景

  • AI 编程辅助:Agent 在写代码时自动搜索最新 API 文档、官方教程和最佳实践,无需手动切换浏览器。
  • 技术调研与竞品分析:让 Agent 自主搜索、抓取多个技术博客和文档站点,合成带引用的结构化研究报告。
  • 全站数据抓取:批量爬取产品目录、价格信息、论文库或新闻站点,提取表格和结构化数据到本地。
  • 本地知识库构建:将频繁查阅的文档和网页缓存到本地,形成个人/团队的离线可检索知识库。
  • 页面变更监控:持续监控竞品官网、文档更新页或价格页面,变更时通过 webhook 自动通知。