Nuclia 理解
Nuclia 自动索引来自任何内部和外部来源的非结构化数据，提供优化的搜索结果和生成式答案。它可以处理视频和音频转录、图像内容提取和文档解析。
Nuclia Understanding API 支持处理非结构化数据，包括文本、网页、文档以及音频/视频内容。它提取所有文本（在需要时使用语音转文本或 OCR），识别实体，还提取元数据、嵌入文件（如 PDF 中的图像）和网络链接。它还提供内容摘要。
要使用Nuclia Understanding API，您需要拥有一个Nuclia 帐户。您可以在https://nuclia.cloud免费创建一个，然后创建 NUA 密钥。
%pip install --upgrade --quiet protobuf
%pip install --upgrade --quiet nucliadb-protos
import os
os.environ["NUCLIA_ZONE"] = "<YOUR_ZONE>" # e.g. europe-1
os.environ["NUCLIA_NUA_KEY"] = "<YOUR_API_KEY>"
from langchain_community.tools.nuclia import NucliaUnderstandingAPI
nua = NucliaUnderstandingAPI(enable_ml=False)
API 参考：NucliaUnderstandingAPI
您可以使用push 操作将文件推送到 Nuclia Understanding API。由于处理是异步完成的，因此结果的返回顺序可能与推送文件的顺序不同。因此，您需要提供一个id 以将结果与相应的文件匹配。
nua.run({"action": "push", "id": "1", "path": "./report.docx"})
nua.run({"action": "push", "id": "2", "path": "./interview.mp4"})
您现在可以在循环中调用pull 操作，直到获得 JSON 格式的结果。
import time
pending = True
data = None
while pending:
time.sleep(15)
data = nua.run({"action": "pull", "id": "1", "path": None})
if data:
print(data)
pending = False
else:
print("waiting...")
您也可以在async 模式下一步完成，您只需要执行一次推送，它将等待直到结果被拉取。
import asyncio
async def process():
data = await nua.arun(
{"action": "push", "id": "1", "path": "./talk.mp4", "text": None}
)
print(data)
asyncio.run(process())
检索到的信息
Nuclia 返回以下信息
- 文件元数据
- 提取的文本
- 嵌套文本（如嵌入图像中的文本）
- 摘要（仅当
enable_ml设置为True时） - 段落和句子拆分（由其第一个和最后一个字符的位置定义，以及视频或音频文件的开始时间和结束时间）
- 命名实体：人员、日期、地点、组织等（仅当
enable_ml设置为True时） - 链接
- 缩略图
- 嵌入文件
- 文本的向量表示（仅当
enable_ml设置为True时）
注意
生成的文件（缩略图、提取的嵌入文件等）作为令牌提供。您可以使用/processing/download 端点下载它们。
同样，在任何级别，如果属性的大小超过一定限制，它将被放入可下载的文件中，并在文档中替换为文件指针。这将由{"file": {"uri": "JWT_TOKEN"}} 组成。规则是，如果消息的大小大于 1000000 个字符，则最大的部分将移动到可下载的文件中。首先，压缩过程将针对向量。如果这还不够，它将针对大型字段元数据，最后将针对提取的文本。