SurrealDBVectorStore
SurrealDB 是一个为人工智能系统专门构建的统一多模型数据库。它将结构化和非结构化数据(包括向量搜索、图遍历、关系查询、全文搜索、文档存储和时间序列数据)结合到一个单一的 ACID 兼容引擎中,可从 3MB 的边缘二进制文件扩展到云中PB级集群。通过消除对多个专业存储的需求,SurrealDB 简化了架构,降低了延迟,并确保了 AI 工作负载的一致性。
SurrealDB 对 GenAI 系统的重要性
- 单一引擎,同时提供存储和内存: 将持久化存储和快速、对代理友好的内存集成到单个系统中,提供代理所需的所有数据,并消除同步多个系统的需求。
- 代理的单跳内存: 在单个查询中运行向量搜索、图遍历、语义连接和事务写入,为 LLM 代理提供快速、一致的内存访问,无需将关系型、图和向量数据库拼接在一起。
- 就地推理和实时更新: SurrealDB 使代理能够就地数据运行推理并接收毫秒级的实时更新,这对于实时推理和协作至关重要。
- 版本化、持久化的上下文: SurrealDB 支持时间旅行查询和版本化记录,让代理能够审计或“重播”过去的状态,以实现一致、可解释的推理。
- 即插即用代理内存: 将 AI 内存作为原生概念公开,使其易于将 SurrealDB 用作 AI 框架的即插即用后端。
本笔记本涵盖了如何开始使用 SurrealDB 向量存储。
设置
您可以在本地运行 SurrealDB,或使用免费的 SurrealDB 云账户。
本地运行有两种选择
-
安装 SurrealDB 和运行 SurrealDB。使用以下命令在内存中运行:
surreal start -u root -p root
-
docker run --rm --pull always -p 8000:8000 surrealdb/surrealdb:latest start
安装依赖
安装 langchain-surrealdb
和 surrealdb
Python 包。
# -- Using pip
pip install --upgrade langchain-surrealdb surrealdb
# -- Using poetry
poetry add langchain-surrealdb surrealdb
# -- Using uv
uv add --upgrade langchain-surrealdb surrealdb
要运行此笔记本,我们只需安装此示例所需的额外依赖项
!poetry add --quiet --group docs langchain-ollama langchain-surrealdb
初始化
from langchain_ollama import OllamaEmbeddings
from langchain_surrealdb.vectorstores import SurrealDBVectorStore
from surrealdb import Surreal
conn = Surreal("ws://:8000/rpc")
conn.signin({"username": "root", "password": "root"})
conn.use("langchain", "demo")
vector_store = SurrealDBVectorStore(OllamaEmbeddings(model="llama3.2"), conn)
API 参考:OllamaEmbeddings
管理向量存储
向向量存储添加项目
from langchain_core.documents import Document
_url = "https://surrealdb.com"
d1 = Document(page_content="foo", metadata={"source": _url})
d2 = Document(page_content="SurrealDB", metadata={"source": _url})
d3 = Document(page_content="bar", metadata={"source": _url})
d4 = Document(page_content="this is surreal", metadata={"source": _url})
vector_store.add_documents(documents=[d1, d2, d3, d4], ids=["1", "2", "3", "4"])
API 参考:Document
['1', '2', '3', '4']
更新向量存储中的项目
updated_document = Document(
page_content="zar", metadata={"source": "https://example.com"}
)
vector_store.add_documents(documents=[updated_document], ids=["3"])
['3']
从向量存储删除项目
vector_store.delete(ids=["3"])
查询向量存储
创建向量存储并添加相关文档后,您很可能希望在运行链或代理时对其进行查询。
直接查询
执行简单的相似性搜索可以按如下方式完成
results = vector_store.similarity_search(
query="surreal", k=1, custom_filter={"source": "https://surrealdb.com"}
)
for doc in results:
print(f"{doc.page_content} [{doc.metadata}]") # noqa: T201
this is surreal [{'source': 'https://surrealdb.com'}]
如果您想执行相似性搜索并接收相应的分数,您可以运行
results = vector_store.similarity_search_with_score(
query="thud", k=1, custom_filter={"source": "https://surrealdb.com"}
)
for doc, score in results:
print(f"[similarity={score:.0%}] {doc.page_content}") # noqa: T201
[similarity=57%] this is surreal
转换为检索器进行查询
您还可以将向量存储转换为检索器,以便在您的链中更方便地使用。
retriever = vector_store.as_retriever(
search_type="mmr", search_kwargs={"k": 1, "lambda_mult": 0.5}
)
retriever.invoke("surreal")
[Document(id='4', metadata={'source': 'https://surrealdb.com'}, page_content='this is surreal')]
检索增强生成的使用
有关如何将此向量存储用于检索增强生成 (RAG) 的指南,请参阅以下部分
API 参考
有关所有 SurrealDBVectorStore 功能和配置的详细文档,请参阅 API 参考:https://python.langchain.ac.cn/api_reference/surrealdb/index.html
下一步
- 查看基本示例。使用 Dockerfile 试用!
- 查看图示例
- 尝试Jupyter 笔记本
- Awesome SurrealDB,精选的 SurrealDB 资源、工具、实用程序和应用程序列表