混合搜索
LangChain 中的标准搜索是通过向量相似度完成的。然而,许多 向量存储 实现(如 Astra DB、ElasticSearch、Neo4J、AzureSearch、Qdrant...)也支持更高级的搜索,结合了向量相似度搜索和其他搜索技术(全文搜索、BM25 等)。这通常被称为“混合”搜索。
步骤 1:确保您正在使用的向量存储支持混合搜索
目前,LangChain 中没有统一的方法来执行混合搜索。每个向量存储可能有自己的实现方式。这通常以关键字参数的形式公开,并在 similarity_search
期间传递。
通过阅读文档或源代码,弄清楚您正在使用的向量存储是否支持混合搜索,如果支持,如何使用它。
步骤 2:将该参数添加为链的可配置字段
这将使您可以轻松地调用链并在运行时配置任何相关标志。有关配置的更多信息,请参阅此文档。
步骤 3:使用该可配置字段调用链
现在,在运行时,您可以使用可配置字段调用此链。
代码示例
让我们看一个具体的代码示例。我们将使用 Astra DB 的 Cassandra/CQL 接口。
安装以下 Python 包
!pip install "cassio>=0.1.7"
获取 连接密钥。
初始化 cassio
import cassio
cassio.init(
database_id="Your database ID",
token="Your application token",
keyspace="Your key space",
)
使用标准的 索引分析器创建 Cassandra VectorStore。需要索引分析器来启用术语匹配。
from cassio.table.cql import STANDARD_ANALYZER
from langchain_community.vectorstores import Cassandra
from langchain_openai import OpenAIEmbeddings
embeddings = OpenAIEmbeddings()
vectorstore = Cassandra(
embedding=embeddings,
table_name="test_hybrid",
body_index_options=[STANDARD_ANALYZER],
session=None,
keyspace=None,
)
vectorstore.add_texts(
[
"In 2023, I visited Paris",
"In 2022, I visited New York",
"In 2021, I visited New Orleans",
]
)
如果我们进行标准的相似性搜索,我们将获得所有文档
vectorstore.as_retriever().invoke("What city did I visit last?")
[Document(page_content='In 2022, I visited New York'),
Document(page_content='In 2023, I visited Paris'),
Document(page_content='In 2021, I visited New Orleans')]
Astra DB 向量存储的 body_search
参数可用于在术语 new
上过滤搜索。
vectorstore.as_retriever(search_kwargs={"body_search": "new"}).invoke(
"What city did I visit last?"
)
[Document(page_content='In 2022, I visited New York'),
Document(page_content='In 2021, I visited New Orleans')]
我们现在可以创建链,该链将用于对文档进行问答
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import (
ConfigurableField,
RunnablePassthrough,
)
from langchain_openai import ChatOpenAI
这是一个基本的问答链设置。
template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)
model = ChatOpenAI()
retriever = vectorstore.as_retriever()
这里我们将检索器标记为具有可配置字段。所有向量存储检索器都有 search_kwargs
作为字段。这只是一个字典,其中包含特定于向量存储的字段
configurable_retriever = retriever.configurable_fields(
search_kwargs=ConfigurableField(
id="search_kwargs",
name="Search Kwargs",
description="The search kwargs to use",
)
)
我们现在可以使用我们的可配置检索器创建链
chain = (
{"context": configurable_retriever, "question": RunnablePassthrough()}
| prompt
| model
| StrOutputParser()
)
chain.invoke("What city did I visit last?")
Paris
我们现在可以使用可配置选项调用链。search_kwargs
是可配置字段的 ID。该值是用于 Astra DB 的搜索 kwargs。
chain.invoke(
"What city did I visit last?",
config={"configurable": {"search_kwargs": {"body_search": "new"}}},
)
New York