Qdrant

Qdrant（读作：quadrant）是一个向量相似性搜索引擎。它提供了一个生产就绪的服务，并带有一个方便的 API 来存储、搜索和管理向量，以及额外的有效负载和扩展的过滤支持。这使得它适用于各种神经网络或基于语义的匹配、分面搜索和其他应用程序。

本文档演示了如何将 Qdrant 与 Langchain 结合使用，以进行密集/稀疏和混合检索。

此页面记录了QdrantVectorStore类，该类通过 Qdrant 的新查询 API支持多种检索模式。它要求您运行 Qdrant v1.10.0 或更高版本。

设置

运行Qdrant的方式多种多样，根据所选方式，会有一些细微的差别。选项包括

本地模式，无需服务器
Docker 部署
Qdrant 云

请参阅安装说明。

%pip install -qU langchain-qdrant

凭据

在本笔记本中运行代码不需要任何凭据。

如果您希望获得一流的模型调用自动跟踪，还可以通过取消以下注释来设置您的LangSmith API 密钥

# os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
# os.environ["LANGSMITH_TRACING"] = "true"

初始化

本地模式

Python 客户端允许您在本地模式下运行相同的代码，而无需运行 Qdrant 服务器。这非常适合测试和调试，或者仅存储少量向量。嵌入可能完全保存在内存中或持久化到磁盘上。

内存中

对于某些测试场景和快速实验，您可能更倾向于仅将所有数据保存在内存中，因此当客户端被销毁时（通常在脚本/笔记本的末尾）它会丢失。

OpenAI
HuggingFace
伪嵌入

pip install -qU langchain-openai

import getpass

    os.environ["OPENAI_API_KEY"] = getpass.getpass()

from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings(model="text-embedding-3-large")

pip install -qU langchain-huggingface

from langchain_huggingface import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(model="sentence-transformers/all-mpnet-base-v2")

pip install -qU langchain-core

from langchain_core.embeddings import FakeEmbeddings

embeddings = FakeEmbeddings(size=4096)

from langchain_qdrant import QdrantVectorStore
from qdrant_client import QdrantClient
from qdrant_client.http.models import Distance, VectorParams

client = QdrantClient(":memory:")

client.create_collection(
    collection_name="demo_collection",
    vectors_config=VectorParams(size=3072, distance=Distance.COSINE),
)

vector_store = QdrantVectorStore(
    client=client,
    collection_name="demo_collection",
    embedding=embeddings,
)

磁盘存储

本地模式，不使用 Qdrant 服务器，也可以将您的向量存储在磁盘上，以便它们在运行之间保持持久性。

client = QdrantClient(path="/tmp/langchain_qdrant")

client.create_collection(
    collection_name="demo_collection",
    vectors_config=VectorParams(size=3072, distance=Distance.COSINE),
)

vector_store = QdrantVectorStore(
    client=client,
    collection_name="demo_collection",
    embedding=embeddings,
)

本地服务器部署

无论您选择使用Docker 容器在本地启动 Qdrant，还是使用官方 Helm 图表选择 Kubernetes 部署，连接到此类实例的方式都将相同。您需要提供一个指向服务的 URL。

url = "<---qdrant url here --->"
docs = []  # put docs here
qdrant = QdrantVectorStore.from_documents(
    docs,
    embeddings,
    url=url,
    prefer_grpc=True,
    collection_name="my_documents",
)

Qdrant 云

如果您不想自己忙于管理基础设施，可以选择在Qdrant 云上设置一个完全托管的 Qdrant 集群。免费提供一个永久的 1GB 集群供您试用。使用托管版本的 Qdrant 的主要区别在于，您需要提供一个 API 密钥来确保您的部署不会被公开访问。该值也可以设置在QDRANT_API_KEY环境变量中。

url = "<---qdrant cloud cluster url here --->"
api_key = "<---api key here--->"
qdrant = QdrantVectorStore.from_documents(
    docs,
    embeddings,
    url=url,
    prefer_grpc=True,
    api_key=api_key,
    collection_name="my_documents",
)

使用现有集合

要获取langchain_qdrant.Qdrant的实例，而无需加载任何新的文档或文本，您可以使用Qdrant.from_existing_collection()方法。

qdrant = QdrantVectorStore.from_existing_collection(
    embedding=embeddings,
    collection_name="my_documents",
    url="http://localhost:6333",
)

管理向量存储

创建向量存储后，我们可以通过添加和删除不同的项目与之交互。

向向量存储添加项目

我们可以使用add_documents函数将项目添加到我们的向量存储中。

from uuid import uuid4

from langchain_core.documents import Document

document_1 = Document(
    page_content="I had chocalate chip pancakes and scrambled eggs for breakfast this morning.",
    metadata={"source": "tweet"},
)

document_2 = Document(
    page_content="The weather forecast for tomorrow is cloudy and overcast, with a high of 62 degrees.",
    metadata={"source": "news"},
)

document_3 = Document(
    page_content="Building an exciting new project with LangChain - come check it out!",
    metadata={"source": "tweet"},
)

document_4 = Document(
    page_content="Robbers broke into the city bank and stole $1 million in cash.",
    metadata={"source": "news"},
)

document_5 = Document(
    page_content="Wow! That was an amazing movie. I can't wait to see it again.",
    metadata={"source": "tweet"},
)

document_6 = Document(
    page_content="Is the new iPhone worth the price? Read this review to find out.",
    metadata={"source": "website"},
)

document_7 = Document(
    page_content="The top 10 soccer players in the world right now.",
    metadata={"source": "website"},
)

document_8 = Document(
    page_content="LangGraph is the best framework for building stateful, agentic applications!",
    metadata={"source": "tweet"},
)

document_9 = Document(
    page_content="The stock market is down 500 points today due to fears of a recession.",
    metadata={"source": "news"},
)

document_10 = Document(
    page_content="I have a bad feeling I am going to get deleted :(",
    metadata={"source": "tweet"},
)

documents = [
    document_1,
    document_2,
    document_3,
    document_4,
    document_5,
    document_6,
    document_7,
    document_8,
    document_9,
    document_10,
]
uuids = [str(uuid4()) for _ in range(len(documents))]

vector_store.add_documents(documents=documents, ids=uuids)

API 参考：文档

['c04134c3-273d-4766-949a-eee46052ad32',
 '9e6ba50c-794f-4b88-94e5-411f15052a02',
 'd3202666-6f2b-4186-ac43-e35389de8166',
 '50d8d6ee-69bf-4173-a6a2-b254e9928965',
 'bd2eae02-74b5-43ec-9fcf-09e9d9db6fd3',
 '6dae6b37-826d-4f14-8376-da4603b35de3',
 'b0964ab5-5a14-47b4-a983-37fa5c5bd154',
 '91ed6c56-fe53-49e2-8199-c3bb3c33c3eb',
 '42a580cb-7469-4324-9927-0febab57ce92',
 'ff774e5c-f158-4d12-94e2-0a0162b22f27']

从向量存储中删除项目

vector_store.delete(ids=[uuids[-1]])

True

查询向量存储

创建向量存储并添加相关文档后，您很可能希望在运行链或代理时查询它。

直接查询

使用 Qdrant 向量存储的最简单场景是执行相似性搜索。在底层，我们的查询将被编码为向量嵌入，并用于在 Qdrant 集合中查找类似的文档。

results = vector_store.similarity_search(
    "LangChain provides abstractions to make working with LLMs easy", k=2
)
for res in results:
    print(f"* {res.page_content} [{res.metadata}]")

* Building an exciting new project with LangChain - come check it out! [{'source': 'tweet', '_id': 'd3202666-6f2b-4186-ac43-e35389de8166', '_collection_name': 'demo_collection'}]
* LangGraph is the best framework for building stateful, agentic applications! [{'source': 'tweet', '_id': '91ed6c56-fe53-49e2-8199-c3bb3c33c3eb', '_collection_name': 'demo_collection'}]

QdrantVectorStore支持 3 种相似性搜索模式。它们可以在设置类时使用retrieval_mode参数进行配置。

密集向量搜索（默认）
稀疏向量搜索
混合搜索

密集向量搜索

要仅使用密集向量进行搜索，

retrieval_mode参数应设置为RetrievalMode.DENSE（默认）。
应将密集嵌入值提供给embedding参数。

from langchain_qdrant import RetrievalMode

qdrant = QdrantVectorStore.from_documents(
    docs,
    embedding=embeddings,
    location=":memory:",
    collection_name="my_documents",
    retrieval_mode=RetrievalMode.DENSE,
)

query = "What did the president say about Ketanji Brown Jackson"
found_docs = qdrant.similarity_search(query)

稀疏向量搜索

要仅使用稀疏向量进行搜索，

retrieval_mode参数应设置为RetrievalMode.SPARSE。
必须使用任何稀疏嵌入提供程序提供SparseEmbeddings接口的实现作为sparse_embedding参数的值。

langchain-qdrant包开箱即用地提供了一个基于FastEmbed的实现。

要使用它，请安装 FastEmbed 包。

%pip install fastembed

from langchain_qdrant import FastEmbedSparse, RetrievalMode

sparse_embeddings = FastEmbedSparse(model_name="Qdrant/bm25")

qdrant = QdrantVectorStore.from_documents(
    docs,
    sparse_embedding=sparse_embeddings,
    location=":memory:",
    collection_name="my_documents",
    retrieval_mode=RetrievalMode.SPARSE,
)

query = "What did the president say about Ketanji Brown Jackson"
found_docs = qdrant.similarity_search(query)

混合向量搜索

要使用密集和稀疏向量以及分数融合执行混合搜索，

retrieval_mode参数应设置为RetrievalMode.HYBRID。
应将密集嵌入值提供给embedding参数。
必须使用任何稀疏嵌入提供程序提供SparseEmbeddings接口的实现作为sparse_embedding参数的值。

请注意，如果您已使用HYBRID模式添加了文档，则可以在搜索时切换到任何检索模式。因为密集和稀疏向量都存在于集合中。

from langchain_qdrant import FastEmbedSparse, RetrievalMode

sparse_embeddings = FastEmbedSparse(model_name="Qdrant/bm25")

qdrant = QdrantVectorStore.from_documents(
    docs,
    embedding=embeddings,
    sparse_embedding=sparse_embeddings,
    location=":memory:",
    collection_name="my_documents",
    retrieval_mode=RetrievalMode.HYBRID,
)

query = "What did the president say about Ketanji Brown Jackson"
found_docs = qdrant.similarity_search(query)

如果要执行相似性搜索并接收相应的得分，可以运行

results = vector_store.similarity_search_with_score(
    query="Will it be hot tomorrow", k=1
)
for doc, score in results:
    print(f"* [SIM={score:3f}] {doc.page_content} [{doc.metadata}]")

* [SIM=0.531834] The weather forecast for tomorrow is cloudy and overcast, with a high of 62 degrees. [{'source': 'news', '_id': '9e6ba50c-794f-4b88-94e5-411f15052a02', '_collection_name': 'demo_collection'}]

有关QdrantVectorStore可用的所有搜索函数的完整列表，请阅读API 参考

元数据过滤

Qdrant 拥有一个功能强大的过滤系统，支持丰富的类型。您也可以在 Langchain 中使用这些过滤器，方法是向 similarity_search_with_score 和 similarity_search 方法传递额外的参数。

from qdrant_client.http import models

results = vector_store.similarity_search(
    query="Who are the best soccer players in the world?",
    k=1,
    filter=models.Filter(
        should=[
            models.FieldCondition(
                key="page_content",
                match=models.MatchValue(
                    value="The top 10 soccer players in the world right now."
                ),
            ),
        ]
    ),
)
for doc in results:
    print(f"* {doc.page_content} [{doc.metadata}]")

* The top 10 soccer players in the world right now. [{'source': 'website', '_id': 'b0964ab5-5a14-47b4-a983-37fa5c5bd154', '_collection_name': 'demo_collection'}]

将向量存储转换为检索器进行查询

您还可以将向量存储转换为检索器，以便在您的链中更轻松地使用。

retriever = vector_store.as_retriever(search_type="mmr", search_kwargs={"k": 1})
retriever.invoke("Stealing from the bank is a crime")

[Document(metadata={'source': 'news', '_id': '50d8d6ee-69bf-4173-a6a2-b254e9928965', '_collection_name': 'demo_collection'}, page_content='Robbers broke into the city bank and stole $1 million in cash.')]

检索增强生成的使用

有关如何将此向量存储用于检索增强生成 (RAG) 的指南，请参阅以下部分

自定义 Qdrant

您可以选择在 Langchain 应用程序中使用现有的 Qdrant 集合。在这种情况下，您可能需要定义如何将 Qdrant 点映射到 Langchain 的 Document。

命名向量

Qdrant 通过命名向量支持每个点多个向量。如果您使用外部创建的集合，或者想要使用不同名称的向量，可以通过提供其名称来配置它。

from langchain_qdrant import RetrievalMode

QdrantVectorStore.from_documents(
    docs,
    embedding=embeddings,
    sparse_embedding=sparse_embeddings,
    location=":memory:",
    collection_name="my_documents_2",
    retrieval_mode=RetrievalMode.HYBRID,
    vector_name="custom_vector",
    sparse_vector_name="custom_sparse_vector",
)

元数据

Qdrant 存储您的向量嵌入以及可选的 JSON 类负载。负载是可选的，但由于 LangChain 假设嵌入是从文档生成的，因此我们保留上下文数据，以便您也可以提取原始文本。

默认情况下，您的文档将存储在以下负载结构中

{
    "page_content": "Lorem ipsum dolor sit amet",
    "metadata": {
        "foo": "bar"
    }
}

但是，您可以选择为页面内容和元数据使用不同的键。如果您已经拥有想要重用的集合，这将非常有用。

QdrantVectorStore.from_documents(
    docs,
    embeddings,
    location=":memory:",
    collection_name="my_documents_2",
    content_payload_key="my_page_content_key",
    metadata_payload_key="my_meta",
)

API 参考

有关所有 QdrantVectorStore 功能和配置的详细文档，请访问 API 参考： https://python.langchain.ac.cn/api_reference/qdrant/qdrant/langchain_qdrant.qdrant.QdrantVectorStore.html

向量存储概念指南
向量存储操作指南

Qdrant

设置

凭据

初始化

本地模式

内存中

磁盘存储

本地服务器部署

Qdrant 云

使用现有集合

管理向量存储

向向量存储添加项目

从向量存储中删除项目

查询向量存储

直接查询

密集向量搜索

稀疏向量搜索

混合向量搜索

元数据过滤

将向量存储转换为检索器进行查询

检索增强生成的使用

自定义 Qdrant

命名向量

元数据

API 参考

此页面是否有帮助？

您也可以留下详细的反馈在 GitHub 上.

设置​

凭据​

初始化​

本地模式​

内存中​

磁盘存储​

本地服务器部署​

Qdrant 云​

使用现有集合​

管理向量存储​

向向量存储添加项目​

从向量存储中删除项目​

查询向量存储​

直接查询​

密集向量搜索​

稀疏向量搜索​

混合向量搜索​

元数据过滤​

将向量存储转换为检索器进行查询​

检索增强生成的使用​

自定义 Qdrant​

命名向量​

元数据​

API 参考​

相关​

此页面是否有帮助？

您也可以留下详细的反馈 在 GitHub 上.

设置

凭据

初始化

本地模式

内存中

磁盘存储

本地服务器部署

Qdrant 云

使用现有集合

管理向量存储

向向量存储添加项目

从向量存储中删除项目

查询向量存储

直接查询

密集向量搜索

稀疏向量搜索

混合向量搜索

元数据过滤

将向量存储转换为检索器进行查询

检索增强生成的使用

自定义 Qdrant

命名向量

元数据

API 参考

相关

您也可以留下详细的反馈在 GitHub 上.