crawl4ai
RAG 检索增强Crawl4AI 是面向 LLM 与 AI agent 的开源爬虫和抓取工具,把任意网站转成干净、可直接喂给模型的 Markdown,省去自己清洗 HTML 的麻烦。构建 RAG 知识库时,用它批量抓取文档站点,输出的内容可直接切分入库。
查看 GitHub 原始描述(英文)
Open-source web crawler and scraper for LLMs and AI agents: any website into clean, LLM-ready Markdown. Run it yourself, or use Crawl4AI Cloud with one key.
按钮会在新标签页打开,本站不代理、不镜像仓库内容。