跳到主要内容
Open on GitHub

ScrapeGraph AI

ScrapeGraph AI 是一项提供 AI 驱动的网页抓取能力的服务。它提供使用自然语言提示提取结构化数据、将网页转换为 Markdown 以及处理本地 HTML 内容的工具。

安装和设置​

安装所需的软件包

pip install langchain-scrapegraph

设置您的 API 密钥

export SGAI_API_KEY="your-scrapegraph-api-key"

工具​

查看使用示例。

有四个工具可用

from langchain_scrapegraph.tools import (
    SmartScraperTool,    # Extract structured data from websites
    MarkdownifyTool,     # Convert webpages to markdown
    LocalScraperTool,    # Process local HTML content
    GetCreditsTool,      # Check remaining API credits
)

每个工具都有特定的用途

  • SmartScraperTool：从网站提取结构化数据，给定 URL、提示和可选的输出模式
  • MarkdownifyTool：将任何网页转换为清晰的 Markdown 格式
  • LocalScraperTool：从本地 HTML 文件中提取结构化数据，给定提示和可选的输出模式
  • GetCreditsTool：查看您剩余的 ScrapeGraph AI 积分

此页是否对您有帮助？