跳至主要内容

Dedoc

此示例演示了将Dedoc与LangChain结合用作DocumentLoader。

概述​

Dedoc 是一个 开源 库/服务，它可以从各种格式的文件中提取文本、表格、附件文件和文档结构（例如标题、列表项等）。

Dedoc 支持 DOCX、XLSX、PPTX、EML、HTML、PDF、图像等。支持格式的完整列表可以在 此处 找到。

集成详细信息​

类包本地可序列化JS 支持
DedocFileLoaderlangchain_community❌测试版❌
DedocPDFLoaderlangchain_community❌测试版❌
DedocAPIFileLoaderlangchain_community❌测试版❌

加载程序功能​

提供了延迟加载和异步加载的方法，但实际上，文档加载是同步执行的。

来源文档延迟加载异步支持
DedocFileLoader❌❌
DedocPDFLoader❌❌
DedocAPIFileLoader❌❌

设置​

  • 要访问DedocFileLoader和DedocPDFLoader文档加载器，您需要安装dedoc集成包。
  • 要访问DedocAPIFileLoader，您需要运行Dedoc服务，例如Docker容器（有关更多详细信息，请参阅 文档）
docker pull dedocproject/dedoc
docker run -p 1231:1231

Dedoc安装说明在 此处 提供。

# Install package
%pip install --quiet "dedoc[torch]"
Note: you may need to restart the kernel to use updated packages.

实例化​

from langchain_community.document_loaders import DedocFileLoader

loader = DedocFileLoader("./example_data/state_of_the_union.txt")
API 参考：DedocFileLoader

加载​

docs = loader.load()
docs[0].page_content[:100]
'\nMadam Speaker, Madam Vice President, our First Lady and Second Gentleman. Members of Congress and t'

延迟加载​

docs = loader.lazy_load()

for doc in docs:
    print(doc.page_content[:100])
    break

Madam Speaker, Madam Vice President, our First Lady and Second Gentleman. Members of Congress and t

API 参考​

有关配置和调用Dedoc加载器的详细信息，请参阅 API 参考

加载任何文件​

对于自动处理 支持格式 中的任何文件，DedocFileLoader 非常有用。文件加载器会自动检测具有正确扩展名的文件类型。

文件解析过程可以通过DedocFileLoader类初始化期间的dedoc_kwargs进行配置。此处提供了某些选项使用的一些基本示例，请参阅DedocFileLoader的文档和 dedoc 文档 以获取有关配置参数的更多详细信息。

基本示例​

from langchain_community.document_loaders import DedocFileLoader

loader = DedocFileLoader("./example_data/state_of_the_union.txt")

docs = loader.load()

docs[0].page_content[:400]
API 参考：DedocFileLoader
'\nMadam Speaker, Madam Vice President, our First Lady and Second Gentleman. Members of Congress and the Cabinet. Justices of the Supreme Court. My fellow Americans.  \n\n\n\nLast year COVID-19 kept us apart. This year we are finally together again. \n\n\n\nTonight, we meet as Democrats Republicans and Independents. But most importantly as Americans. \n\n\n\nWith a duty to one another to the American people to '

拆分模式​

DedocFileLoader支持不同类型的文档拆分为多个部分（每个部分分别返回）。为此，使用以下选项使用split参数

  • document（默认值）：文档文本作为单个 langchain Document 对象返回（不拆分）；
  • page：将文档文本拆分为页面（适用于PDF、DJVU、PPTX、PPT、ODP）；
  • node：将文档文本拆分为Dedoc树节点（标题节点、列表项节点、原始文本节点）；
  • line：将文档文本拆分为文本行。
loader = DedocFileLoader(
    "./example_data/layout-parser-paper.pdf",
    split="page",
    pages=":2",
)

docs = loader.load()

len(docs)
2

处理表格​

当加载器初始化期间将with_tables参数设置为True时（默认情况下with_tables=True），DedocFileLoader支持表格处理。

表格不会拆分 - 每个表格对应一个 langchain Document 对象。对于表格，Document 对象具有额外的metadata字段type="table"和text_as_html，其中包含表格的HTML表示形式。

loader = DedocFileLoader("./example_data/mlb_teams_2012.csv")

docs = loader.load()

docs[1].metadata["type"], docs[1].metadata["text_as_html"][:200]
('table',
 '<table border="1" style="border-collapse: collapse; width: 100%;">\n<tbody>\n<tr>\n<td colspan="1" rowspan="1">Team</td>\n<td colspan="1" rowspan="1"> &quot;Payroll (millions)&quot;</td>\n<td colspan="1" r')

处理附件文件​

当加载器初始化期间将with_attachments设置为True时（默认情况下with_attachments=False），DedocFileLoader支持附件文件处理。

附件根据split参数进行拆分。对于附件，langchain Document 对象具有一个额外的元数据字段type="attachment"。

loader = DedocFileLoader(
    "./example_data/fake-email-attachment.eml",
    with_attachments=True,
)

docs = loader.load()

docs[1].metadata["type"], docs[1].page_content
('attachment',
 '\nContent-Type\nmultipart/mixed; boundary="0000000000005d654405f082adb7"\nDate\nFri, 23 Dec 2022 12:08:48 -0600\nFrom\nMallori Harrell <[email protected]>\nMIME-Version\n1.0\nMessage-ID\n<CAPgNNXSzLVJ-d1OCX_TjFgJU7ugtQrjFybPtAMmmYZzphxNFYg@mail.gmail.com>\nSubject\nFake email with attachment\nTo\nMallori Harrell <[email protected]>')

加载 PDF 文件​

如果您只想处理PDF文档，则可以使用仅支持PDF的DedocPDFLoader。加载程序支持文档拆分、表格和附件提取的相同参数。

Dedoc可以提取有或没有文本层的PDF，以及自动检测其是否存在和正确性。可以使用多个PDF处理程序，您可以使用pdf_with_text_layer参数选择其中一个。请参阅 参数说明 以获取更多详细信息。

对于没有文本层的PDF，应安装Tesseract OCR及其语言包。在这种情况下， 说明 可能有用。

from langchain_community.document_loaders import DedocPDFLoader

loader = DedocPDFLoader(
    "./example_data/layout-parser-paper.pdf", pdf_with_text_layer="true", pages="2:2"
)

docs = loader.load()

docs[0].page_content[:400]
API 参考：DedocPDFLoader
'\n2\n\nZ. Shen et al.\n\n37], layout detection [38, 22], table detection [26], and scene text detection [4].\n\nA generalized learning-based framework dramatically reduces the need for the\n\nmanual specification of complicated rules, which is the status quo with traditional\n\nmethods. DL has the potential to transform DIA pipelines and benefit a broad\n\nspectrum of large-scale document digitization projects.\n'

Dedoc API​

如果您想以更少的设置快速上手，可以使用Dedoc作为服务。DedocAPIFileLoader无需安装dedoc库即可使用。加载程序支持与DedocFileLoader相同的参数，并且还自动检测输入文件类型。

要使用DedocAPIFileLoader，您应该运行Dedoc服务，例如Docker容器（有关更多详细信息，请参阅 文档）

docker pull dedocproject/dedoc
docker run -p 1231:1231

请不要在您的代码中使用我们的演示 URL https://dedoc-readme.hf.space。

from langchain_community.document_loaders import DedocAPIFileLoader

loader = DedocAPIFileLoader(
    "./example_data/state_of_the_union.txt",
    url="https://dedoc-readme.hf.space",
)

docs = loader.load()

docs[0].page_content[:400]
API 参考：DedocAPIFileLoader
'\nMadam Speaker, Madam Vice President, our First Lady and Second Gentleman. Members of Congress and the Cabinet. Justices of the Supreme Court. My fellow Americans.  \n\n\n\nLast year COVID-19 kept us apart. This year we are finally together again. \n\n\n\nTonight, we meet as Democrats Republicans and Independents. But most importantly as Americans. \n\n\n\nWith a duty to one another to the American people to '

此页面是否有帮助？


您也可以留下详细的反馈 在 GitHub 上.