跳到主要内容
Open In ColabOpen on GitHub

SurrealDBVectorStore

SurrealDB 是一个为人工智能系统专门构建的统一多模型数据库。它将结构化和非结构化数据(包括向量搜索、图遍历、关系查询、全文搜索、文档存储和时间序列数据)结合到一个单一的 ACID 兼容引擎中,可从 3MB 的边缘二进制文件扩展到云中PB级集群。通过消除对多个专业存储的需求,SurrealDB 简化了架构,降低了延迟,并确保了 AI 工作负载的一致性。

SurrealDB 对 GenAI 系统的重要性

  • 单一引擎,同时提供存储和内存: 将持久化存储和快速、对代理友好的内存集成到单个系统中,提供代理所需的所有数据,并消除同步多个系统的需求。
  • 代理的单跳内存: 在单个查询中运行向量搜索、图遍历、语义连接和事务写入,为 LLM 代理提供快速、一致的内存访问,无需将关系型、图和向量数据库拼接在一起。
  • 就地推理和实时更新: SurrealDB 使代理能够就地数据运行推理并接收毫秒级的实时更新,这对于实时推理和协作至关重要。
  • 版本化、持久化的上下文: SurrealDB 支持时间旅行查询和版本化记录,让代理能够审计或“重播”过去的状态,以实现一致、可解释的推理。
  • 即插即用代理内存: 将 AI 内存作为原生概念公开,使其易于将 SurrealDB 用作 AI 框架的即插即用后端。

本笔记本涵盖了如何开始使用 SurrealDB 向量存储。

设置

您可以在本地运行 SurrealDB,或使用免费的 SurrealDB 云账户

本地运行有两种选择

  1. 安装 SurrealDB运行 SurrealDB。使用以下命令在内存中运行:

    surreal start -u root -p root
  2. 使用 Docker 运行.

    docker run --rm --pull always -p 8000:8000 surrealdb/surrealdb:latest start

安装依赖

安装 langchain-surrealdbsurrealdb Python 包。

# -- Using pip
pip install --upgrade langchain-surrealdb surrealdb
# -- Using poetry
poetry add langchain-surrealdb surrealdb
# -- Using uv
uv add --upgrade langchain-surrealdb surrealdb

要运行此笔记本,我们只需安装此示例所需的额外依赖项

!poetry add --quiet --group docs langchain-ollama langchain-surrealdb

初始化

from langchain_ollama import OllamaEmbeddings
from langchain_surrealdb.vectorstores import SurrealDBVectorStore
from surrealdb import Surreal

conn = Surreal("ws://:8000/rpc")
conn.signin({"username": "root", "password": "root"})
conn.use("langchain", "demo")
vector_store = SurrealDBVectorStore(OllamaEmbeddings(model="llama3.2"), conn)
API 参考:OllamaEmbeddings

管理向量存储

向向量存储添加项目

from langchain_core.documents import Document

_url = "https://surrealdb.com"
d1 = Document(page_content="foo", metadata={"source": _url})
d2 = Document(page_content="SurrealDB", metadata={"source": _url})
d3 = Document(page_content="bar", metadata={"source": _url})
d4 = Document(page_content="this is surreal", metadata={"source": _url})

vector_store.add_documents(documents=[d1, d2, d3, d4], ids=["1", "2", "3", "4"])
API 参考:Document
['1', '2', '3', '4']

更新向量存储中的项目

updated_document = Document(
page_content="zar", metadata={"source": "https://example.com"}
)

vector_store.add_documents(documents=[updated_document], ids=["3"])
['3']

从向量存储删除项目

vector_store.delete(ids=["3"])

查询向量存储

创建向量存储并添加相关文档后,您很可能希望在运行链或代理时对其进行查询。

直接查询

执行简单的相似性搜索可以按如下方式完成

results = vector_store.similarity_search(
query="surreal", k=1, custom_filter={"source": "https://surrealdb.com"}
)
for doc in results:
print(f"{doc.page_content} [{doc.metadata}]") # noqa: T201
this is surreal [{'source': 'https://surrealdb.com'}]

如果您想执行相似性搜索并接收相应的分数,您可以运行

results = vector_store.similarity_search_with_score(
query="thud", k=1, custom_filter={"source": "https://surrealdb.com"}
)
for doc, score in results:
print(f"[similarity={score:.0%}] {doc.page_content}") # noqa: T201
[similarity=57%] this is surreal

转换为检索器进行查询

您还可以将向量存储转换为检索器,以便在您的链中更方便地使用。

retriever = vector_store.as_retriever(
search_type="mmr", search_kwargs={"k": 1, "lambda_mult": 0.5}
)
retriever.invoke("surreal")
[Document(id='4', metadata={'source': 'https://surrealdb.com'}, page_content='this is surreal')]

检索增强生成的使用

有关如何将此向量存储用于检索增强生成 (RAG) 的指南,请参阅以下部分

API 参考

有关所有 SurrealDBVectorStore 功能和配置的详细文档,请参阅 API 参考:https://python.langchain.ac.cn/api_reference/surrealdb/index.html

下一步