FireCrawl
FireCrawl 抓取并将任何网站转换为 LLM 就绪的数据。它会抓取所有可访问的子页面,并为您提供干净的 markdown 和每个页面的元数据。无需站点地图。
安装和设置
安装 Python SDK
pip install firecrawl-py==0.0.20
文档加载器
查看使用示例。
from langchain_community.document_loaders import FireCrawlLoader
API 参考:FireCrawlLoader