Azure AI 数据
Azure AI Studio 提供将数据资产上传到云存储并从以下来源注册现有数据资产的功能
Microsoft OneLake
Azure Blob 存储
Azure Data Lake gen 2
这种方法相较于AzureBlobStorageContainerLoader
和AzureBlobStorageFileLoader
的优势在于,对云存储的身份验证是无缝处理的。您可以使用基于身份的数据访问控制来访问数据,也可以使用基于凭据的方式(例如 SAS 令牌、帐户密钥)。在基于凭据的数据访问的情况下,您无需在代码中指定机密或设置密钥保管库 - 系统会为您处理这些操作。
此笔记本介绍如何从 AI Studio 中的数据资产加载文档对象。
%pip install --upgrade --quiet azureml-fsspec, azure-ai-generative
from azure.ai.resources.client import AIClient
from azure.identity import DefaultAzureCredential
from langchain_community.document_loaders import AzureAIDataLoader
API 参考:AzureAIDataLoader
# Create a connection to your project
client = AIClient(
credential=DefaultAzureCredential(),
subscription_id="<subscription_id>",
resource_group_name="<resource_group_name>",
project_name="<project_name>",
)
# get the latest version of your data asset
data_asset = client.data.get(name="<data_asset_name>", label="latest")
# load the data asset
loader = AzureAIDataLoader(url=data_asset.path)
loader.load()
[Document(page_content='Lorem ipsum dolor sit amet.', lookup_str='', metadata={'source': '/var/folders/y6/8_bzdg295ld6s1_97_12m4lr0000gn/T/tmpaa9xl6ch/fake.docx'}, lookup_index=0)]
指定通配符模式
您还可以指定通配符模式以更细粒度地控制要加载的文件。在下面的示例中,仅加载扩展名为pdf
的文件。
loader = AzureAIDataLoader(url=data_asset.path, glob="*.pdf")
loader.load()
[Document(page_content='Lorem ipsum dolor sit amet.', lookup_str='', metadata={'source': '/var/folders/y6/8_bzdg295ld6s1_97_12m4lr0000gn/T/tmpujbkzf_l/fake.docx'}, lookup_index=0)]