AgentQLLoader
AgentQL 的文档加载器通过使用 AgentQL 查询,从任何网页提供结构化数据提取。AgentQL 可以在多种语言和网页中使用,且不会随时间或更改而失效。
概述
AgentQLLoader
需要以下两个参数:
url
:您要从中提取数据的网页 URL。query
:要执行的 AgentQL 查询。有关 如何编写 AgentQL 查询的更多信息,请参阅文档,或在 AgentQL Playground 中进行测试。
以下参数为可选设置:
api_key
:您的 AgentQL API 密钥,来自 dev.agentql.com。可选
。timeout
:等待请求超时的秒数。默认为900
。is_stealth_mode_enabled
:是否启用实验性的反机器人规避策略。此功能可能并非在所有时间都适用于所有网站。启用此模式后,数据提取可能需要更长时间才能完成。默认为False
。wait_for
:在提取数据前等待页面加载的秒数。默认为0
。is_scroll_to_bottom_enabled
:在提取数据前是否滚动到页面底部。默认为False
。mode
:"standard"
使用深度数据分析,而"fast"
则以牺牲部分分析深度为代价来提高速度,足以满足大多数用例。在此指南中了解有关模式的更多信息。 默认为"fast"
。is_screenshot_enabled
:是否在提取数据前截取屏幕截图。作为 Base64 字符串返回到“metadata”中。默认为False
。
AgentQLLoader 是通过 AgentQL 的 REST API 实现的。
集成详情
类别 | 包 | 本地 | 可序列化 | JS 支持 |
---|---|---|---|---|
AgentQLLoader | langchain-agentql | ✅ | ❌ | ❌ |
加载器功能
来源 | 文档延迟加载 | 原生异步支持 |
---|---|---|
AgentQLLoader | ✅ | ❌ |
设置
要使用 AgentQL 文档加载器,您需要配置 AGENTQL_API_KEY
环境变量,或使用 api_key
参数。您可以从我们的 开发者门户 获取 API 密钥。
安装
安装 langchain-agentql。
%pip install -qU langchain_agentql
设置凭据
import os
os.environ["AGENTQL_API_KEY"] = "YOUR_AGENTQL_API_KEY"
初始化
接下来实例化您的模型对象
from langchain_agentql.document_loaders import AgentQLLoader
loader = AgentQLLoader(
url="https://www.agentql.com/blog",
query="""
{
posts[] {
title
url
date
author
}
}
""",
is_scroll_to_bottom_enabled=True,
)
加载
docs = loader.load()
docs[0]
Document(metadata={'request_id': 'bdb9dbe7-8a7f-427f-bc16-839ccc02cae6', 'generated_query': None, 'screenshot': None}, page_content="{'posts': [{'title': 'Launch Week Recap—make the web AI-ready', 'url': 'https://www.agentql.com/blog/2024-launch-week-recap', 'date': 'Nov 18, 2024', 'author': 'Rachel-Lee Nabors'}, {'title': 'Accurate data extraction from PDFs and images with AgentQL', 'url': 'https://www.agentql.com/blog/accurate-data-extraction-pdfs-images', 'date': 'Feb 1, 2025', 'author': 'Rachel-Lee Nabors'}, {'title': 'Introducing Scheduled Scraping Workflows', 'url': 'https://www.agentql.com/blog/scheduling', 'date': 'Dec 2, 2024', 'author': 'Rachel-Lee Nabors'}, {'title': 'Updates to Our Pricing Model', 'url': 'https://www.agentql.com/blog/2024-pricing-update', 'date': 'Nov 19, 2024', 'author': 'Rachel-Lee Nabors'}, {'title': 'Get data from any page: AgentQL’s REST API Endpoint—Launch week day 5', 'url': 'https://www.agentql.com/blog/data-rest-api', 'date': 'Nov 15, 2024', 'author': 'Rachel-Lee Nabors'}]}")
print(docs[0].metadata)
{'request_id': 'bdb9dbe7-8a7f-427f-bc16-839ccc02cae6', 'generated_query': None, 'screenshot': None}
延迟加载
AgentQLLoader
目前一次只加载一个 Document
。因此,load()
和 lazy_load()
的行为相同。
pages = [doc for doc in loader.lazy_load()]
pages
[Document(metadata={'request_id': '06273abd-b2ef-4e15-b0ec-901cba7b4825', 'generated_query': None, 'screenshot': None}, page_content="{'posts': [{'title': 'Launch Week Recap—make the web AI-ready', 'url': 'https://www.agentql.com/blog/2024-launch-week-recap', 'date': 'Nov 18, 2024', 'author': 'Rachel-Lee Nabors'}, {'title': 'Accurate data extraction from PDFs and images with AgentQL', 'url': 'https://www.agentql.com/blog/accurate-data-extraction-pdfs-images', 'date': 'Feb 1, 2025', 'author': 'Rachel-Lee Nabors'}, {'title': 'Introducing Scheduled Scraping Workflows', 'url': 'https://www.agentql.com/blog/scheduling', 'date': 'Dec 2, 2024', 'author': 'Rachel-Lee Nabors'}, {'title': 'Updates to Our Pricing Model', 'url': 'https://www.agentql.com/blog/2024-pricing-update', 'date': 'Nov 19, 2024', 'author': 'Rachel-Lee Nabors'}, {'title': 'Get data from any page: AgentQL’s REST API Endpoint—Launch week day 5', 'url': 'https://www.agentql.com/blog/data-rest-api', 'date': 'Nov 15, 2024', 'author': 'Rachel-Lee Nabors'}]}")]
API 参考
有关如何使用此集成的更多信息,请参阅 git 仓库 或 langchain 集成文档