跳到主要内容
Open In ColabOpen on GitHub

BoxLoader 和 BoxBlobLoader

langchain-box 软件包提供了两种从 Box 索引文件的方法:BoxLoaderBoxBlobLoaderBoxLoader 允许您摄取在 Box 中具有文本表示的文件的文本表示。BoxBlobLoader 允许您下载任何文档或图像文件的二进制大对象(blob),以便使用您选择的二进制大对象解析器进行处理。

本 Notebook 详细介绍了这两种方法的入门。有关所有 BoxLoader 功能和配置的详细文档,请查阅 BoxLoaderBoxBlobLoader 的 API 参考页面。

概述

BoxLoader 类帮助您以 Langchain 的 Document 格式从 Box 获取非结构化内容。您可以通过包含 Box 文件 ID 的 List[str] 或包含 Box 文件夹 ID 的 str 来完成此操作。

BoxBlobLoader 类帮助您以 Langchain 的 Blob 格式从 Box 获取非结构化内容。您可以通过包含 Box 文件 ID 的 List[str]、包含 Box 文件夹 ID 的 str、搜索查询或 BoxMetadataQuery 来完成此操作。

如果通过文件夹 ID 获取文件,您还可以设置一个布尔值(Bool)来告诉加载器同时获取该文件夹中的所有子文件夹。

信息

一个 Box 实例可以包含数 PB 的文件,并且文件夹可以包含数百万文件。选择要索引的文件夹时,请务必谨慎。我们建议切勿递归地获取文件夹 0 中的所有文件。文件夹 ID 0 是您的根文件夹。

BoxLoader 将跳过没有文本表示的文件,而 BoxBlobLoader 将返回所有文档和图像文件的二进制大对象(blob)。

集成详情

类别本地可序列化JS 支持
BoxLoaderlangchain_box
BoxBlobLoaderlangchain_box

加载器功能

来源文档延迟加载异步支持
BoxLoader
BoxBlobLoader

设置

要使用 Box 软件包,您需要准备以下几项

  • 一个 Box 帐户 — 如果您不是 Box 的现有客户或想在您的生产 Box 实例之外进行测试,您可以使用一个 免费开发者帐户
  • 一个 Box 应用 — 这在 开发者控制台 中配置,并且对于 Box AI,必须启用 Manage AI 范围。您还可以在此处选择您的认证方法。
  • 该应用必须由管理员启用。对于免费开发者帐户,这是指注册该帐户的人。

凭证

对于这些示例,我们将使用令牌认证。这可以与任何认证方法一起使用。只需通过任何方法获取令牌即可。如果您想了解如何将其他认证类型与 langchain-box 一起使用,请访问 Box 提供商文档。

import getpass
import os

box_developer_token = getpass.getpass("Enter your Box Developer Token: ")
Enter your Box Developer Token:  ········

要启用模型调用的自动跟踪,请设置您的 LangSmith API 密钥

# os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
# os.environ["LANGSMITH_TRACING"] = "true"

安装

安装 langchain_box

%pip install -qU langchain_box

初始化

加载文件

如果您希望加载文件,您必须在实例化时提供文件 ID 的 List

这需要 1 条信息

  • box_file_ids (List[str])- Box 文件 ID 列表。

BoxLoader

from langchain_box.document_loaders import BoxLoader

box_file_ids = ["1514555423624", "1514553902288"]

loader = BoxLoader(
box_developer_token=box_developer_token,
box_file_ids=box_file_ids,
character_limit=10000, # Optional. Defaults to no limit
)

BoxBlobLoader

from langchain_box.blob_loaders import BoxBlobLoader

box_file_ids = ["1514555423624", "1514553902288"]

loader = BoxBlobLoader(
box_developer_token=box_developer_token, box_file_ids=box_file_ids
)

从文件夹加载

如果您希望从文件夹加载文件,您必须在实例化时提供包含 Box 文件夹 ID 的 str

这需要 1 条信息

  • box_folder_id (str)- 包含 Box 文件夹 ID 的字符串。

BoxLoader

from langchain_box.document_loaders import BoxLoader

box_folder_id = "260932470532"

loader = BoxLoader(
box_folder_id=box_folder_id,
recursive=False, # Optional. return entire tree, defaults to False
character_limit=10000, # Optional. Defaults to no limit
)

BoxBlobLoader

from langchain_box.blob_loaders import BoxBlobLoader

box_folder_id = "260932470532"

loader = BoxBlobLoader(
box_folder_id=box_folder_id,
recursive=False, # Optional. return entire tree, defaults to False
)

使用 BoxBlobLoader 搜索文件

如果您需要搜索文件,BoxBlobLoader 提供两种方法。首先,您可以执行全文搜索,并可选择搜索选项来缩小搜索范围。

这需要 1 条信息

  • query (str)- 包含要执行的搜索查询的字符串。

您还可以提供一个 BoxSearchOptions 对象来缩小搜索范围

  • box_search_options (BoxSearchOptions)
from langchain_box.blob_loaders import BoxBlobLoader
from langchain_box.utilities import BoxSearchOptions, DocumentFiles, SearchTypeFilter

box_folder_id = "260932470532"

box_search_options = BoxSearchOptions(
ancestor_folder_ids=[box_folder_id],
search_type_filter=[SearchTypeFilter.FILE_CONTENT],
created_date_range=["2023-01-01T00:00:00-07:00", "2024-08-01T00:00:00-07:00,"],
file_extensions=[DocumentFiles.DOCX, DocumentFiles.PDF],
k=200,
size_range=[1, 1000000],
updated_data_range=None,
)

loader = BoxBlobLoader(
box_developer_token=box_developer_token,
query="Victor",
box_search_options=box_search_options,
)

您还可以根据 Box 元数据搜索内容。如果您的 Box 实例使用元数据,您可以搜索任何附加了特定元数据模板并符合特定条件的文档,例如返回上季度创建的总额大于或等于 500 美元的任何发票。

这需要 1 条信息

  • query (str)- 包含要执行的搜索查询的字符串。

您还可以提供一个 BoxSearchOptions 对象来缩小搜索范围

  • box_search_options (BoxSearchOptions)

BoxBlobLoader 元数据查询

from langchain_box.blob_loaders import BoxBlobLoader
from langchain_box.utilities import BoxMetadataQuery

query = BoxMetadataQuery(
template_key="enterprise_1234.myTemplate",
query="total >= :value",
query_params={"value": 100},
ancestor_folder_id="260932470532",
)

loader = BoxBlobLoader(box_metadata_query=query)

加载

BoxLoader

docs = loader.load()
docs[0]
Document(metadata={'source': 'https://dl.boxcloud.com/api/2.0/internal_files/1514555423624/versions/1663171610024/representations/extracted_text/content/', 'title': 'Invoice-A5555_txt'}, page_content='Vendor: AstroTech Solutions\nInvoice Number: A5555\n\nLine Items:\n    - Gravitational Wave Detector Kit: $800\n    - Exoplanet Terrarium: $120\nTotal: $920')
print(docs[0].metadata)
{'source': 'https://dl.boxcloud.com/api/2.0/internal_files/1514555423624/versions/1663171610024/representations/extracted_text/content/', 'title': 'Invoice-A5555_txt'}

BoxBlobLoader

for blob in loader.yield_blobs():
print(f"Blob({blob})")
Blob(id='1514555423624' metadata={'source': 'https://app.box.com/0/260935730128/260931903795/Invoice-A5555.txt', 'name': 'Invoice-A5555.txt', 'file_size': 150} data="b'Vendor: AstroTech Solutions\\nInvoice Number: A5555\\n\\nLine Items:\\n    - Gravitational Wave Detector Kit: $800\\n    - Exoplanet Terrarium: $120\\nTotal: $920'" mimetype='text/plain' path='https://app.box.com/0/260935730128/260931903795/Invoice-A5555.txt')
Blob(id='1514553902288' metadata={'source': 'https://app.box.com/0/260935730128/260931903795/Invoice-B1234.txt', 'name': 'Invoice-B1234.txt', 'file_size': 168} data="b'Vendor: Galactic Gizmos Inc.\\nInvoice Number: B1234\\nPurchase Order Number: 001\\nLine Items:\\n - Quantum Flux Capacitor: $500\\n - Anti-Gravity Pen Set: $75\\nTotal: $575'" mimetype='text/plain' path='https://app.box.com/0/260935730128/260931903795/Invoice-B1234.txt')

延迟加载

仅限 BoxLoader

page = []
for doc in loader.lazy_load():
page.append(doc)
if len(page) >= 10:
# do some paged operation, e.g.
# index.upsert(page)

page = []

额外字段

所有 Box 连接器都提供了从 Box FileFull 对象中选择额外字段作为自定义 LangChain 元数据返回的能力。每个对象都接受一个名为 extra_fields 的可选 List[str],其中包含返回对象中的 json 键,例如 extra_fields=["shared_link"]

连接器会将此字段添加到集成功能所需的字段列表中,然后将结果添加到 DocumentBlob 中返回的元数据中,例如 "metadata" : { "source" : "source, "shared_link" : "shared_link" }。如果该文件不可用此字段,则将返回空字符串,例如 "shared_link" : ""

API 参考

有关所有 BoxLoader 功能和配置的详细文档,请查阅 API 参考

帮助

如果您有疑问,可以查阅我们的开发者文档或在我们的开发者社区中联系我们。