跳转到主要内容

Microsoft SharePoint

Microsoft SharePoint 是一个基于网站的协作系统，它使用工作流应用程序、“列表”数据库和其他 Web 部件和安全功能，使业务团队能够协同工作，由 Microsoft 开发。

此笔记本介绍了如何从 SharePoint 文档库加载文档。默认情况下，文档加载器会加载 pdf、doc、docx 和 txt 文件。您可以通过提供适当的解析器来加载其他文件类型（详见下文）。

先决条件​

  1. 按照 Microsoft 标识平台 说明注册应用程序。
  2. 注册完成后，Azure 门户会显示应用注册的“概述”窗格。您会看到应用程序（客户端）ID。也称为 客户端 ID，此值在 Microsoft 标识平台中唯一标识您的应用程序。
  3. 在您在第 1 项中将要执行的步骤中，您可以将重定向 URI 设置为 https://login.microsoftonline.com/common/oauth2/nativeclient。
  4. 在您在第 1 项中将要执行的步骤中，在“应用程序机密”部分下生成一个新的密码（client_secret）。
  5. 按照此 文档中的说明，将以下 SCOPES (offline_access 和 Sites.Read.All) 添加到您的应用程序。
  6. 要从您的文档库检索文件，您将需要它的 ID。要获取它，您将需要 租户名称、集合 ID 和 子站点 ID 的值。
  7. 要查找您的 租户名称，请按照此 文档中的说明进行操作。获取此值后，只需从值中删除 .onmicrosoft.com，并将其余部分保留为您的 租户名称。
  8. 要获取您的 集合 ID 和 子站点 ID，您将需要您的 SharePoint 站点名称。您的 SharePoint 站点 URL 具有以下格式 https://<租户名称>.sharepoint.com/sites/<站点名称>。此 URL 的最后一部分是 站点名称。
  9. 要获取站点 集合 ID，请在浏览器中点击此 URL：https://<租户>.sharepoint.com/sites/<站点名称>/_api/site/id，并复制 Edm.Guid 属性的值。
  10. 要获取 子站点 ID（或 Web ID），请使用：https://<租户>.sharepoint.com/sites/<站点名称>/_api/web/id，并复制 Edm.Guid 属性的值。
  11. SharePoint 站点 ID 具有以下格式：<租户名称>.sharepoint.com,<集合 ID>,<子站点 ID>。您可以保留该值以在下一步中使用。
  12. 访问 Graph Explorer Playground 以获取您的 文档库 ID。第一步是确保您使用与您的 SharePoint 站点关联的帐户登录。然后，您需要向 https://graph.microsoft.com/v1.0/sites/<SharePoint 站点 ID>/drive 发出请求，响应将返回一个包含字段 id 的有效负载，该字段包含您的 文档库 ID。

🧑 从 SharePoint 文档库提取文档的说明​

🔑 身份验证​

默认情况下，SharePointLoader 期望 CLIENT_ID 和 CLIENT_SECRET 的值必须分别存储为名为 O365_CLIENT_ID 和 O365_CLIENT_SECRET 的环境变量。您可以通过应用程序根目录下的 .env 文件传递这些环境变量，或者在脚本中使用以下命令。

os.environ['O365_CLIENT_ID'] = "YOUR CLIENT ID"
os.environ['O365_CLIENT_SECRET'] = "YOUR CLIENT SECRET"

此加载器使用一种名为 代表用户 的身份验证。这是一个带有用户同意的 2 步身份验证。当您实例化加载器时，它将调用并打印一个 URL，用户必须访问该 URL 以同意应用程序具有所需的权限。然后，用户必须访问此 URL 并同意该应用程序。然后，用户必须复制生成的页面 URL 并将其粘贴回控制台。如果登录尝试成功，该方法将返回 True。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID")
API 参考:SharePointLoader

一旦完成身份验证，加载器将会在 ~/.credentials/ 文件夹中存储一个令牌 (o365_token.txt)。此令牌可用于后续身份验证，无需重复之前解释的复制/粘贴步骤。要使用此令牌进行身份验证，您需要在加载器的实例化过程中将 auth_with_token 参数更改为 True。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True)
API 参考:SharePointLoader

🗂️ 文档加载器​

📑 从文档库目录加载文档​

SharePointLoader 可以从您的文档库中的特定文件夹加载文档。例如，您希望加载存储在文档库中的 Documents/marketing 文件夹下的所有文档。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", folder_path="Documents/marketing", auth_with_token=True)
documents = loader.load()
API 参考:SharePointLoader

如果您收到错误 Resource not found for the segment，请尝试使用 folder_id 而不是文件夹路径。folder_id 可以从 Microsoft Graph API 获取。

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True
                          folder_id="<folder-id>")
documents = loader.load()

如果您希望从根目录加载文档，则可以省略 folder_id、folder_path 和 documents_ids，加载器将加载根目录。

# loads documents from root directory
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True)
documents = loader.load()

结合 recursive=True，您可以简单地加载整个 SharePoint 中的所有文档。

# loads documents from root directory
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID",
                          recursive=True,
                          auth_with_token=True)
documents = loader.load()

📑 从文档 ID 列表加载文档​

另一种可能性是为每个您想加载的文档提供一个 object_id 列表。为此，您需要查询 Microsoft Graph API 来查找您感兴趣的所有文档 ID。此链接 提供了一个端点列表，这些端点将有助于检索文档 ID。

例如，要检索存储在 data/finance/ 文件夹下的所有对象的信息，您需要向以下地址发出请求：https://graph.microsoft.com/v1.0/drives/<document-library-id>/root:/data/finance:/children。一旦您有了感兴趣的 ID 列表，就可以使用以下参数实例化加载器。

from langchain_community.document_loaders.sharepoint import SharePointLoader

loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", object_ids=["ID_1", "ID_2"], auth_with_token=True)
documents = loader.load()
API 参考:SharePointLoader

📑 选择支持的文件类型和首选解析器​

默认情况下，SharePointLoader 加载在 document_loaders/parsers/registry 中定义的文件类型，并使用默认的解析器（见下文）。

def _get_default_parser() -> BaseBlobParser:
    """Get default mime-type based parser."""
    return MimeTypeBasedParser(
        handlers={
            "application/pdf": PyMuPDFParser(),
            "text/plain": TextParser(),
            "application/msword": MsWordParser(),
            "application/vnd.openxmlformats-officedocument.wordprocessingml.document": (
                MsWordParser()
            ),
        },
        fallback_parser=None,
    )

您可以通过将 handlers 参数传递给 SharePointLoader 来覆盖此行为。传递一个字典，将文件扩展名（如 "doc"、"pdf" 等）或 MIME 类型（如 "application/pdf"、"text/plain" 等）映射到解析器。请注意，您必须专门使用文件扩展名或 MIME 类型，不能混合使用它们。

不要在文件扩展名中包含前导点。

# using file extensions:
handlers = {
    "doc": MsWordParser(),
    "pdf": PDFMinerParser(),
    "mp3": OpenAIWhisperParser()
}

# using MIME types:
handlers = {
    "application/msword": MsWordParser(),
    "application/pdf": PDFMinerParser(),
    "audio/mpeg": OpenAIWhisperParser()
}

loader = SharePointLoader(document_library_id="...",
                            handlers=handlers # pass handlers to SharePointLoader
                            )

如果多个文件扩展名映射到同一 MIME 类型，则将应用最后一个字典项。示例

# 'jpg' and 'jpeg' both map to 'image/jpeg' MIME type. SecondParser() will be used 
# to parse all jpg/jpeg files.
handlers = {
    "jpg": FirstParser(),
    "jpeg": SecondParser()
}

此页是否对您有帮助？