unclecode/crawl4ai
项目简介
crawl4ai 是一个面向 LLM 和 AI agents 的开源网页爬虫与抓取工具，主要解决大模型应用在获取网页数据时格式杂乱、噪声多、难以直接利用的问题。它能将任意网站内容转换为干净、结构化且可直接供 LLM 消费的 Markdown，为 RAG、AI agents 和数据提取等场景提供高质量语料。项目基于 Python 和 Playwright 构建，支持动态渲染页面抓取，并可通过 CLI 或 API 灵活集成。用户既能自行部署运行，也可借助 Crawl4AI Cloud 一键托管使用。其核心亮点是输出对 LLM 友好、开箱即用，并兼容 MCP，便于接入各类 AI 工作流，适合需要为 RAG 管道、智能体或训练数据准备网页内容的开发者。
适用场景
AI 开发工具
项目信息
- 仓库地址: https://github.com/unclecode/crawl4ai
- 许可证: Apache-2.0
- 开发语言: Python
- Stars: 84,259 | Forks: 8,715
- 主页: https://crawl4ai.com