firecrawl/firecrawl
项目简介
Firecrawl 是一个面向 AI Agent 的 Web 数据 API，把任意网页转换成 LLM 可直接消费的干净数据。它不只是"爬虫"：一条请求即可完成搜索、抓取、结构化抽取、整站遍历，最终输出 Markdown、结构化 JSON、HTML 或截图。官方宣称覆盖 96% 的网页（含重 JS 渲染页面），P95 延迟 3.4 秒，并可选托管服务或开源自托管，同时提供 MCP Server 与 CLI Skill 让 Agent 一步接入实时网络数据。
技术亮点
- LLM-ready 输出优先：默认把 HTML 清洗成低 token 消耗的 Markdown，也可通过 schema 直接产出结构化 JSON，省掉下游解析与二次清洗。
- 零配置对抗反爬：内置轮换代理、限速与编排调度，用户无需自行维护 Playwright 集群或代理池，即可处理 JS 阻塞、动态渲染页面。
- Agent 化交互能力：
Interact端点允许先抓取页面再以自然语言指令或代码操作（click、scroll、write、wait、press）后抽取内容；Agent端点则只需描述需求，无需预先知道 URL。 - 多模态与文档解析：除网页外可解析 web-hosted PDF、DOCX 等媒体文件，输出截图与链接图，扩展 RAG 语料来源。
- 批量与异步吞吐：
Batch Scrape支持上千 URL 异步抓取，Map可秒级枚举站点全部 URL，Crawl一键遍历整站。 - Agent 生态原生：提供独立 MCP Server 与一条命令安装的 Skill，兼容 Claude Code、OpenCode 等客户端。
架构解析
整体可分为四层。最上层是 API/SDK 层，暴露 Search、Scrape、Interact、Agent、Crawl、Map、Batch 等端点，并配套 Node.js、Python、cURL 与 CLI 客户端。中间是任务编排层，负责请求排队、速率控制、任务状态与异步回调，支撑批量与长时爬取。其下是抓取渲染层，调度无头浏览器、轮换代理、等待策略与 Actions 指令，解决 JS 渲染与反爬问题。最底层是内容转换层，把 DOM 转为 Markdown、结构化 JSON、HTML、截图或文档解析结果；MCP Server 与 Agent 能力则横跨其上，对外提供工具调用接口。
适用场景
- RAG 知识库构建：为私域或公域文档批量抓取网页、PDF，直接生成可切片的 Markdown 语料。
- Agent 实时联网：通过 MCP 让编码 Agent 或客服 Agent 在会话中检索最新网页内容，避免知识过期。
- 竞品与价格监控：用 Interact 模拟点击、翻页、登录后，抽取结构化价格或库存字段。
- 销售线索与市场情报：以 Agent 端点描述目标，自动发现并汇总指定行业公司信息。
- 内容聚合与站点迁移：Crawl + Map 遍历整站，把旧站内容转成 Markdown 迁移到新 CMS。
生态对比
- 对比 Playwright/Puppeteer 等浏览器自动化库：后者只提供渲染能力，代理管理、排队、反爬与 Markdown 转换都需自建；Firecrawl 把这些封装成托管 API。
- 对比 Crawl4AI 等开源爬取框架：Crawl4AI 更偏本地可控、免费自托管，但缺少同等规模的反爬基础设施与 Agent/MCP 开箱能力，偏向开发者自行拼装流水线。
- 对比 Tavily、Exa 等搜索 API：后两者强在检索排序，返回片段与摘要；Firecrawl 更强调"检索 + 全文抓取 + 结构化输出"的端到端数据获取。
- 对比 Scrapy/Apify：Scrapy 适合大规模定制化爬虫工程，学习与维护成本高；Apify 偏 Actor 市场模型，Firecrawl 则面向 LLM 场景做了输出格式与接口优化。