跳到主要内容
Open on GitHub

ScrapeGraph AI

ScrapeGraph AI 是一个提供 AI 驱动的网络抓取服务。它提供了用于提取结构化数据、将网页转换为 Markdown 格式以及使用自然语言提示处理本地 HTML 内容的工具。

安装与设置

安装所需软件包

pip install langchain-scrapegraph

设置您的 API 密钥

export SGAI_API_KEY="your-scrapegraph-api-key"

工具

查看 使用示例

提供了四种工具

from langchain_scrapegraph.tools import (
SmartScraperTool, # Extract structured data from websites
SmartCrawlerTool, # Extract data from multiple pages with crawling
MarkdownifyTool, # Convert webpages to markdown
GetCreditsTool, # Check remaining API credits
)

每种工具都有其特定用途

  • SmartScraperTool:根据 URL、提示和可选的输出 schema 从网站提取结构化数据
  • SmartCrawlerTool:从多个页面提取数据,支持深度控制、页面限制和域名限制等高级抓取选项
  • MarkdownifyTool:将任何网页转换为整洁的 Markdown 格式
  • GetCreditsTool:检查您剩余的 ScrapeGraph AI 积分