跳到主要内容
Open In ColabOpen on GitHub

PullMdLoader

用于使用 pull.md 服务将 URL 转换为 Markdown 的加载器。

该包实现了用于网页内容的文档加载器。与传统的网页抓取工具不同,PullMdLoader 可以处理使用 React、Angular 或 Vue.js 等动态 JavaScript 框架构建的网页,无需本地渲染即可将其转换为 Markdown。

概述

集成详情

类别本地可序列化JS 支持
PullMdLoaderlangchain-pull-md

设置

安装

pip install langchain-pull-md

初始化

from langchain_pull_md.markdown_loader import PullMdLoader

# Instantiate the loader with a URL
loader = PullMdLoader(url="https://example.com")

加载

documents = loader.load()
documents[0].metadata
{'source': 'https://example.com',
'page_content': '# Example Domain\nThis domain is used for illustrative examples in documents. You may use this domain in literature without prior coordination or asking for permission.'}

延迟加载

未实现惰性加载。PullMdLoader 在每次调用 load 方法时,都会将提供的 URL 实时转换为 Markdown 格式。

API 参考: