firecrawl
Firecrawl 是一个面向 AI agents 和 LLM 应用的网页数据 API，用于搜索、抓取并访问更多来源的数据。它解决 AI 应用难以获取实时网页内容、网页结构杂乱、格式不适合模型消费的问题。核心能力包括网页搜索、网页抓取、站点爬取、数据提取，以及将 HTML 转换为 Markdown，从而为 RAG、LLM 和 AI agents 提供干净、结构化、可直接使用的上下文。项目覆盖 crawler、scraper、web scraping、web search、data extraction 等场景，可帮助开发者把互联网和更多外部来源的数据接入 AI 工作流，提升智能体与检索增强生成的效果。它适合需要实时信息、网页知识库、自动化数据采集和 AI 搜索的开发者与团队。