跳至主要内容

Google Vertex AI 搜索

Google Vertex AI 搜索（以前称为 Generative AI App Builder 上的 Enterprise Search）是 Google Cloud 提供的 Vertex AI 机器学习平台的一部分。

Vertex AI Search 允许组织为客户和员工快速构建基于生成式 AI 的搜索引擎。它以各种 Google 搜索 技术为基础，包括语义搜索，该技术通过使用自然语言处理和机器学习技术来推断内容中的关系以及用户查询输入中的意图，从而提供比传统基于关键字的搜索技术更相关的结果。Vertex AI Search 还得益于 Google 在理解用户搜索方式方面的专业知识，并将内容相关性考虑在内以对显示的结果进行排序。

Vertex AI Search 在 Google Cloud Console 中以及通过 API 用于企业工作流程集成。

此笔记本演示了如何配置 Vertex AI Search 以及如何使用 Vertex AI Search 检索器。Vertex AI Search 检索器封装了 Python 客户端库，并使用它来访问 Search Service API。

有关所有 VertexAISearchRetriever 功能和配置的详细文档，请访问 API 参考。

集成详细信息​

检索器自托管云服务包
VertexAISearchRetriever❌✅langchain_google_community

设置​

安装​

您需要安装 langchain-google-community 和 google-cloud-discoveryengine 包才能使用 Vertex AI Search 检索器。

%pip install -qU langchain-google-community google-cloud-discoveryengine

Vertex AI Search 从 2023 年 8 月起普遍可用，无需允许列表。

在使用检索器之前，您需要完成以下步骤

创建一个搜索引擎并填充非结构化数据存储​

设置凭据以访问 Vertex AI Search API​

Vertex AI Search 检索器使用的 Vertex AI Search 客户端库 为以编程方式对 Google Cloud 进行身份验证提供高级语言支持。客户端库支持 应用程序默认凭据 (ADC)；库会在定义的一组位置中查找凭据，并使用这些凭据来对 API 请求进行身份验证。使用 ADC，您可以在各种环境中（例如本地开发或生产）将凭据提供给您的应用程序，而无需修改您的应用程序代码。

如果在 Google Colab 中运行，请使用 google.colab.google.auth 进行身份验证，否则请按照 支持的方法 之一进行操作，以确保您的应用程序默认凭据已正确设置。

import sys

if "google.colab" in sys.modules:
    from google.colab import auth as google_auth

    google_auth.authenticate_user()

配置和使用 Vertex AI Search 检索器​

Vertex AI Search 检索器在 langchain_google_community.VertexAISearchRetriever 类中实现。get_relevant_documents 方法返回一个 langchain.schema.Document 文档列表，其中每个文档的 page_content 字段填充了文档内容。根据 Vertex AI Search 中使用的类型（网站、结构化或非结构化），page_content 字段填充如下

  • 具有高级索引的网站：与查询匹配的 extractive answer。metadata 字段填充从其中提取段落或答案的文档的元数据（如果有）。
  • 非结构化数据源：与查询匹配的 extractive segment 或 extractive answer。metadata 字段填充从其中提取段落或答案的文档的元数据（如果有）。
  • 结构化数据源：包含从结构化数据源返回的所有字段的字符串 json。metadata 字段填充文档的元数据（如果有）。

提取式答案和提取式段落​

提取式答案是逐字文本，随每个搜索结果返回。它直接从原始文档中提取。提取式答案通常显示在网页顶部，为最终用户提供与他们的查询在上下文中相关的简短答案。提取式答案适用于网站和非结构化搜索。

提取式段落是逐字文本，随每个搜索结果返回。提取式段落通常比提取式答案更详细。提取式段落可以作为对查询的答案显示，并且可用于执行后处理任务以及作为大型语言模型的输入以生成答案或新文本。提取式段落适用于非结构化搜索。

有关提取式段落和提取式答案的更多信息，请参阅 产品文档。

注意：提取式段落需要启用 企业版 功能。

在创建检索器实例时，您可以指定许多参数来控制要访问的数据存储以及如何处理自然语言查询，包括用于提取式答案和段落的配置。

必填参数为：​

  • project_id - 您的 Google Cloud 项目 ID。
  • location_id - 数据存储的位置。
    • global（默认）
    • us
    • eu

以下之一

  • search_engine_id - 您要使用的搜索应用程序的 ID。（混合搜索必填）
  • data_store_id - 您要使用的数据存储的 ID。

project_id、search_engine_id 和 data_store_id 参数可以在检索器的构造函数中显式提供，也可以通过环境变量 - PROJECT_ID、SEARCH_ENGINE_ID 和 DATA_STORE_ID 提供。

您还可以配置许多可选参数，包括

  • max_documents - 用于提供提取式段落或提取式答案的文档最大数量
  • get_extractive_answers - 默认情况下，检索器配置为返回提取式段落。
    • 将此字段设置为 True 以返回提取式答案。仅当 engine_data_type 设置为 0（非结构化）时使用。
  • max_extractive_answer_count - 每个搜索结果中返回的提取式答案的最大数量。
    • 最多返回 5 个答案。此设置仅在 `engine_data_type` 设置为 `0`（非结构化）时使用。
  • max_extractive_segment_count - 每个搜索结果中返回的提取段的最大数量。
    • 目前将返回一个段。此设置仅在 `engine_data_type` 设置为 `0`（非结构化）时使用。
  • filter - 基于数据存储中文档关联的元数据，对搜索结果进行过滤的表达式。
  • query_expansion_condition - 指定在哪些条件下应进行查询扩展。
    • 0 - 未指定查询扩展条件。在这种情况下，服务器行为默认禁用。
    • 1 - 禁用查询扩展。即使 SearchResponse.total_size 为零，也只使用精确的搜索查询。
    • 2 - 搜索 API 构建的自动查询扩展。
  • engine_data_type - 定义 Vertex AI Search 数据类型
    • 0 - 非结构化数据
    • 1 - 结构化数据
    • 2 - 网站数据
    • 3 - 混合搜索

GoogleCloudEnterpriseSearchRetriever 的迁移指南​

在以前的版本中，此检索器称为 `GoogleCloudEnterpriseSearchRetriever`。

要更新到新的检索器，请进行以下更改

  • 将导入从：`from langchain.retrievers import GoogleCloudEnterpriseSearchRetriever` -> `from langchain_google_community import VertexAISearchRetriever` 更改。
  • 将所有类引用从 `GoogleCloudEnterpriseSearchRetriever` -> `VertexAISearchRetriever` 更改。

注意：使用检索器时，如果您想从单个查询获取自动跟踪，还可以通过取消下面的注释来设置您的 LangSmith API 密钥

# os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
# os.environ["LANGSMITH_TRACING"] = "true"

实例化​

为具有提取段的**非结构化**数据配置和使用检索器​

from langchain_google_community import (
    VertexAIMultiTurnSearchRetriever,
    VertexAISearchRetriever,
)

PROJECT_ID = "<YOUR PROJECT ID>"  # Set to your Project ID
LOCATION_ID = "<YOUR LOCATION>"  # Set to your data store location
SEARCH_ENGINE_ID = "<YOUR SEARCH APP ID>"  # Set to your search app ID
DATA_STORE_ID = "<YOUR DATA STORE ID>"  # Set to your data store ID
retriever = VertexAISearchRetriever(
    project_id=PROJECT_ID,
    location_id=LOCATION_ID,
    data_store_id=DATA_STORE_ID,
    max_documents=3,
)
query = "What are Alphabet's Other Bets?"

result = retriever.invoke(query)
for doc in result:
    print(doc)

为具有提取答案的**非结构化**数据配置和使用检索器​

retriever = VertexAISearchRetriever(
    project_id=PROJECT_ID,
    location_id=LOCATION_ID,
    data_store_id=DATA_STORE_ID,
    max_documents=3,
    max_extractive_answer_count=3,
    get_extractive_answers=True,
)

result = retriever.invoke(query)
for doc in result:
    print(doc)

为**结构化**数据配置和使用检索器​

retriever = VertexAISearchRetriever(
    project_id=PROJECT_ID,
    location_id=LOCATION_ID,
    data_store_id=DATA_STORE_ID,
    max_documents=3,
    engine_data_type=1,
)

result = retriever.invoke(query)
for doc in result:
    print(doc)

为具有高级网站索引的**网站**数据配置和使用检索器​

retriever = VertexAISearchRetriever(
    project_id=PROJECT_ID,
    location_id=LOCATION_ID,
    data_store_id=DATA_STORE_ID,
    max_documents=3,
    max_extractive_answer_count=3,
    get_extractive_answers=True,
    engine_data_type=2,
)

result = retriever.invoke(query)
for doc in result:
    print(doc)

为**混合**数据配置和使用检索器​

retriever = VertexAISearchRetriever(
    project_id=PROJECT_ID,
    location_id=LOCATION_ID,
    search_engine_id=SEARCH_ENGINE_ID,
    max_documents=3,
    engine_data_type=3,
)

result = retriever.invoke(query)
for doc in result:
    print(doc)

带跟进的搜索 基于生成式 AI 模型，不同于常规的非结构化数据搜索。

retriever = VertexAIMultiTurnSearchRetriever(
    project_id=PROJECT_ID, location_id=LOCATION_ID, data_store_id=DATA_STORE_ID
)

result = retriever.invoke(query)
for doc in result:
    print(doc)

用法​

按照上面的例子，我们使用 `invoke` 来发出单个查询。因为检索器是可运行的，所以我们也可以使用 可运行接口 中的任何方法，比如 `batch`。

在链中使用​

我们还可以将检索器合并到 链 中，以构建更大的应用程序，比如一个简单的 RAG 应用程序。为了演示目的，我们也实例化了一个 VertexAI 聊天模型。有关设置说明，请参见相应的 Vertex 集成文档。

%pip install -qU langchain-google-vertexai
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_google_vertexai import ChatVertexAI

prompt = ChatPromptTemplate.from_template(
    """Answer the question based only on the context provided.

Context: {context}

Question: {question}"""
)

llm = ChatVertexAI(model_name="chat-bison", temperature=0)


def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)


chain = (
    {"context": retriever | format_docs, "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)
chain.invoke(query)

API 参考​

有关所有 VertexAISearchRetriever 功能和配置的详细文档，请访问 API 参考。

此页面是否有帮助？


您也可以在 GitHub 上留下详细的反馈 on GitHub.