crawl4ai
crawl4ai 是面向 LLM 与 AI agent 的开源网页爬虫和抓取工具，基于 Playwright 与异步 Python 构建，能把任意网站转换为干净、适合直接投喂大模型的 Markdown。它解决了 RAG 与 agent 数据管道中网页内容杂乱、噪声多、难以分块的问题。核心能力包括：异步并发抓取与浏览器会话管理，支持动态 JS 渲染；Markdown 生成支持引用标注、链接筛选与自定义分块去噪；提供 CSS/XPath、正则、LLM 等多种抽取策略，可输出 JSON 结构化数据并配合 BM25 相关性过滤；兼容 MCP，可作为工具接入 AI agent 工作流，也支持 Docker 部署。适用于 RAG 知识库构建、agent 联网检索与数据采集等场景。既可自行托管开源版本，也能通过 Crawl4AI Cloud 用单个 API key 快速调用。