FireCrawl

FireCrawl 抓取任何网站并将其转换为 LLM 就绪的数据。它会抓取所有可访问的子页面，并为您提供每个页面的干净 markdown 和元数据。无需站点地图。

安装和设置

安装 python SDK

pip install firecrawl-py==0.0.20

文档加载器

查看使用示例。

from langchain_community.document_loaders import FireCrawlLoader

API 参考：FireCrawlLoader