Microsoft SharePoint
Microsoft SharePoint 是一个基于网站的协作系统,它使用工作流应用程序、“列表”数据库以及其他 Web 部件和安全功能,使企业团队能够协同工作,由微软开发。
此笔记本介绍如何从SharePoint 文档库加载文档。目前,仅支持 docx、doc 和 pdf 文件。
先决条件
- 按照Microsoft 身份平台说明注册应用程序。
- 注册完成后,Azure 门户将显示应用程序注册的“概述”窗格。您将看到“应用程序(客户端)ID”。也称为
client ID
,此值在 Microsoft 身份平台中唯一标识您的应用程序。 - 在您将在项目 1中执行的步骤中,您可以将重定向 URI 设置为
https://login.microsoftonline.com/common/oauth2/nativeclient
- 在您将在项目 1中执行的步骤中,在“应用程序机密”部分下生成一个新密码(
client_secret
)。 - 按照此文档中的说明,将以下
SCOPES
(offline_access
和Sites.Read.All
)添加到您的应用程序。 - 要从您的文档库检索文件,您需要其 ID。要获取它,您将需要
租户名称
、集合 ID
和子网站 ID
的值。 - 要查找您的
租户名称
,请按照此文档中的说明进行操作。获取此值后,只需从该值中删除.onmicrosoft.com
,并将其余部分保留为您的租户名称
。 - 要获取您的
集合 ID
和子网站 ID
,您需要您的SharePoint站点名称
。您的SharePoint
站点 URL 具有以下格式https://<tenant-name>.sharepoint.com/sites/<site-name>
。此 URL 的最后一部分是站点名称
。 - 要获取站点
集合 ID
,请在浏览器中访问此 URL:https://<tenant>.sharepoint.com/sites/<site-name>/_api/site/id
并复制Edm.Guid
属性的值。 - 要获取
子网站 ID
(或 Web ID),请使用:https://<tenant>.sharepoint.com/sites/<site-name>/_api/web/id
并复制Edm.Guid
属性的值。 SharePoint 站点 ID
具有以下格式:<tenant-name>.sharepoint.com,<Collection ID>,<subsite ID>
。您可以保留该值以在下一步中使用。- 访问Graph Explorer Playground以获取您的
文档库 ID
。第一步是确保您已使用与您的SharePoint站点关联的帐户登录。然后,您需要向https://graph.microsoft.com/v1.0/sites/<SharePoint site ID>/drive
发出请求,并且响应将返回一个包含id
字段的有效负载,该字段包含您的文档库 ID
的 ID。
🧑 从 SharePoint 文档库导入文档的说明
🔑 身份验证
默认情况下,SharePointLoader
期望CLIENT_ID
和CLIENT_SECRET
的值分别存储为名为O365_CLIENT_ID
和O365_CLIENT_SECRET
的环境变量。您可以通过应用程序根目录的.env
文件或在脚本中使用以下命令传递这些环境变量。
os.environ['O365_CLIENT_ID'] = "YOUR CLIENT ID"
os.environ['O365_CLIENT_SECRET'] = "YOUR CLIENT SECRET"
此加载程序使用称为代表用户的身份验证。这是一种需要用户同意的两步身份验证。当您实例化加载程序时,它将调用打印一个用户必须访问的 URL 以授予应用程序所需的权限。然后,用户必须访问此 URL 并授予应用程序权限。然后,用户必须复制结果页面 URL 并将其粘贴回控制台。如果登录尝试成功,则该方法将返回 True。
from langchain_community.document_loaders.sharepoint import SharePointLoader
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID")
完成身份验证后,加载程序将在~/.credentials/
文件夹中存储一个令牌(o365_token.txt
)。此令牌可用于以后进行身份验证,无需执行前面解释的复制/粘贴步骤。要将此令牌用于身份验证,您需要在加载程序的实例化中将auth_with_token
参数更改为 True。
from langchain_community.document_loaders.sharepoint import SharePointLoader
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True)
🗂️ 文档加载程序
📑 从文档库目录加载文档
SharePointLoader
可以从文档库中的特定文件夹加载文档。例如,您希望加载存储在文档库中Documents/marketing
文件夹中的所有文档。
from langchain_community.document_loaders.sharepoint import SharePointLoader
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", folder_path="Documents/marketing", auth_with_token=True)
documents = loader.load()
如果您收到错误Resource not found for the segment
,请尝试使用folder_id
而不是文件夹路径,该路径可从Microsoft Graph API获取
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True
folder_id="<folder-id>")
documents = loader.load()
如果您希望从根目录加载文档,您可以省略folder_id
、folder_path
和documents_ids
,加载程序将加载根目录。
# loads documents from root directory
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", auth_with_token=True)
documents = loader.load()
结合recursive=True
,您可以简单地加载整个 SharePoint 中的所有文档
# loads documents from root directory
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID",
recursive=True,
auth_with_token=True)
documents = loader.load()
📑 从文档 ID 列表加载文档
另一种可能性是为要加载的每个文档提供一个object_id
列表。为此,您需要查询Microsoft Graph API以查找您感兴趣的所有文档 ID。此链接提供了有助于检索文档 ID的端点列表。
例如,要检索存储在data/finance/
文件夹中的所有对象的信息,您需要发出以下请求:https://graph.microsoft.com/v1.0/drives/<document-library-id>/root:/data/finance:/children
。获取到您感兴趣的 ID 列表后,您可以使用以下参数实例化加载程序。
from langchain_community.document_loaders.sharepoint import SharePointLoader
loader = SharePointLoader(document_library_id="YOUR DOCUMENT LIBRARY ID", object_ids=["ID_1", "ID_2"], auth_with_token=True)
documents = loader.load()