跳到主要内容
Open In ColabOpen on GitHub

Google BigQuery 向量搜索

Google Cloud BigQuery 向量搜索 让您可以使用 GoogleSQL 进行语义搜索,使用向量索引来实现快速近似结果,或使用暴力搜索来实现精确结果。

本教程演示了如何在 LangChain 中使用端到端数据和嵌入管理系统,并使用 BigQueryVectorStore 类在 BigQuery 中提供可扩展的语义搜索。此类是 2 个类集合的一部分,能够在使用 Google Cloud 中提供统一的数据存储和灵活的向量搜索

  • BigQuery 向量搜索:使用 BigQueryVectorStore 类,非常适合快速原型设计,无需基础设施设置和批量检索。
  • Feature Store Online Store:使用 VertexFSVectorStore 类,通过手动或计划的数据同步实现低延迟检索。非常适合生产就绪、面向用户的 GenAI 应用程序。

Diagram BQ-VertexFS

开始入门

安装库

%pip install --upgrade --quiet  langchain langchain-google-vertexai "langchain-google-community[featurestore]"

要在当前 Jupyter 运行时中使用新安装的软件包,您必须重启运行时。您可以通过运行以下单元格来执行此操作,这将重启当前内核。

import IPython

app = IPython.Application.instance()
app.kernel.do_shutdown(True)

开始之前

设置您的项目 ID

如果您不知道您的项目 ID,请尝试以下操作

  • 运行 gcloud config list
  • 运行 gcloud projects list
  • 请参阅支持页面:查找项目 ID
PROJECT_ID = ""  # @param {type:"string"}

# Set the project id
! gcloud config set project {PROJECT_ID}

设置区域

您还可以更改 BigQuery 使用的 REGION 变量。了解有关 BigQuery 区域的更多信息。

REGION = "us-central1"  # @param {type: "string"}

设置数据集和表名称

它们将成为您的 BigQuery 向量存储。

DATASET = "my_langchain_dataset"  # @param {type: "string"}
TABLE = "doc_and_vectors" # @param {type: "string"}

验证您的 Notebook 环境

  • 如果您使用 Colab 运行此 Notebook,请取消注释下面的单元格并继续。
  • 如果您使用 Vertex AI Workbench,请查看此处的设置说明 here
# from google.colab import auth as google_auth

# google_auth.authenticate_user()

演示:BigQueryVectorStore

创建嵌入类实例

您可能需要在您的项目中启用 Vertex AI API,方法是运行 gcloud services enable aiplatform.googleapis.com --project {PROJECT_ID}(将 {PROJECT_ID} 替换为您的项目名称)。

您可以使用任何 LangChain 嵌入模型

from langchain_google_vertexai import VertexAIEmbeddings

embedding = VertexAIEmbeddings(
model_name="textembedding-gecko@latest", project=PROJECT_ID
)
API 参考:VertexAIEmbeddings

初始化 BigQueryVectorStore

如果 BigQuery 数据集和表不存在,则会自动创建它们。有关所有可选参数,请参阅类定义 here

from langchain_google_community import BigQueryVectorStore

store = BigQueryVectorStore(
project_id=PROJECT_ID,
dataset_name=DATASET,
table_name=TABLE,
location=REGION,
embedding=embedding,
)
API 参考:BigQueryVectorStore

添加文本

all_texts = ["Apples and oranges", "Cars and airplanes", "Pineapple", "Train", "Banana"]
metadatas = [{"len": len(t)} for t in all_texts]

store.add_texts(all_texts, metadatas=metadatas)

搜索文档

query = "I'd like a fruit."
docs = store.similarity_search(query)
print(docs)

按向量搜索文档

query_vector = embedding.embed_query(query)
docs = store.similarity_search_by_vector(query_vector, k=2)
print(docs)

使用元数据过滤器搜索文档

向量存储支持两种方法,在执行文档搜索时将过滤器应用于元数据字段

  • 基于字典的过滤器
    • 您可以传递一个字典 (dict),其中键代表元数据字段,值指定过滤器条件。此方法应用键和对应值之间的相等性过滤器。当提供多个键值对时,它们使用逻辑 AND 运算组合。
  • 基于 SQL 的过滤器
    • 或者,您可以提供一个字符串,表示 SQL WHERE 子句,以定义更复杂的过滤条件。这允许更大的灵活性,支持诸如比较运算符和逻辑运算符之类的 SQL 表达式。了解有关 BigQuery 运算符的更多信息。
# Dictionary-based Filters
# This should only return "Banana" document.
docs = store.similarity_search_by_vector(query_vector, filter={"len": 6})
print(docs)
# SQL-based Filters
# This should return "Banana", "Apples and oranges" and "Cars and airplanes" documents.
docs = store.similarity_search_by_vector(query_vector, filter="len = 6 AND len > 17")
print(docs)

BigQueryVectorStore 提供了一个 batch_search 方法,用于可扩展的向量相似性搜索。

results = store.batch_search(
embeddings=None, # can pass embeddings or
queries=["search_query", "search_query"], # can pass queries
)

添加带有嵌入的文本

您还可以使用 add_texts_with_embeddings 方法自带嵌入。这对于多模态数据特别有用,这些数据可能需要在嵌入生成之前进行自定义预处理。

items = ["some text"]
embs = embedding.embed(items)

ids = store.add_texts_with_embeddings(
texts=["some text"], embs=embs, metadatas=[{"len": 1}]
)

使用 Feature Store 进行低延迟服务

您可以简单地使用方法 .to_vertex_fs_vector_store() 来获取 VertexFSVectorStore 对象,该对象为在线用例提供低延迟。所有必需参数将自动从现有的 BigQueryVectorStore 类传输。有关您可以使用的所有其他参数,请参阅 class definition

使用 .to_bq_vector_store() 方法可以同样轻松地返回到 BigQueryVectorStore。

store.to_vertex_fs_vector_store()  # pass optional VertexFSVectorStore parameters as arguments

此页是否对您有帮助?