FireCrawl
FireCrawl 抓取并转换任何网站,使其成为 LLM 就绪数据。它会抓取所有可访问的子页面,并为您提供每个页面的整洁 Markdown 格式和元数据。无需站点地图。
安装与设置
安装 Python SDK
pip install firecrawl-py==0.0.20
文档加载器
查看使用示例。
from langchain_community.document_loaders import FireCrawlLoader
API 参考:FireCrawlLoader