Faiss (异步)

Facebook AI Similarity Search (Faiss) 是一个用于高效相似性搜索和密集向量聚类的库。它包含的算法可以在任意大小的向量集中进行搜索，甚至可以处理不完全适合内存的向量集。它还包括用于评估和参数调优的支持代码。

参见《FAISS 库》论文。

Faiss 文档.

您需要安装 langchain-community (使用 pip install -qU langchain-community) 才能使用此集成

本笔记本展示了如何使用 `asyncio` 来使用与 `FAISS` 向量数据库相关的功能。LangChain 实现了同步和异步向量存储函数。

请参阅 `同步` 版本此处。

%pip install --upgrade --quiet  faiss-gpu # For CUDA 7.5+ Supported GPU's.
# OR
%pip install --upgrade --quiet  faiss-cpu # For CPU Installation

我们希望使用 OpenAIEmbeddings，因此必须获取 OpenAI API 密钥。

import getpass
import os

if "OPENAI_API_KEY" not in os.environ:
    os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

# Uncomment the following line if you need to initialize FAISS with no AVX2 optimization
# os.environ['FAISS_NO_AVX2'] = '1'

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../../extras/modules/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()

db = await FAISS.afrom_documents(docs, embeddings)

query = "What did the president say about Ketanji Brown Jackson"
docs = await db.asimilarity_search(query)

print(docs[0].page_content)

API 参考：TextLoader | FAISS | OpenAIEmbeddings | CharacterTextSplitter

带分数的相似度搜索

FAISS 也有一些特有的方法。其中之一是 `similarity_search_with_score`，它允许您不仅返回文档，还返回查询与文档之间的距离分数。返回的距离分数是 L2 距离。因此，分数越低越好。

docs_and_scores = await db.asimilarity_search_with_score(query)

docs_and_scores[0]

也可以使用 similarity_search_by_vector 方法搜索与给定嵌入向量相似的文档，该方法接受一个嵌入向量作为参数，而不是字符串。

embedding_vector = await embeddings.aembed_query(query)
docs_and_scores = await db.asimilarity_search_by_vector(embedding_vector)

保存和加载

您还可以保存和加载 FAISS 索引。这很有用，这样您就不必每次使用时都重新创建它。

db.save_local("faiss_index")

new_db = FAISS.load_local("faiss_index", embeddings, asynchronous=True)

docs = await new_db.asimilarity_search(query)

docs[0]

序列化和反序列化为字节

您可以使用这些函数对 FAISS 索引进行 pickle 序列化。如果您使用的嵌入模型大小为 90MB（例如 sentence-transformers/all-MiniLM-L6-v2 或任何其他模型），则生成的 pickle 文件大小将超过 90MB。模型的大小也包含在总大小中。为克服此问题，请使用以下函数。这些函数只序列化 FAISS 索引，大小会小得多。如果您希望将索引存储在像 SQL 这样的数据库中，这会很有帮助。

from langchain_huggingface import HuggingFaceEmbeddings

pkl = db.serialize_to_bytes()  # serializes the faiss index
embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
db = FAISS.deserialize_from_bytes(
    embeddings=embeddings, serialized=pkl, asynchronous=True
)  # Load the index

API 参考：HuggingFaceEmbeddings

合并

您还可以合并两个 FAISS 向量存储。

db1 = await FAISS.afrom_texts(["foo"], embeddings)
db2 = await FAISS.afrom_texts(["bar"], embeddings)

db1.docstore._dict

{'8164a453-9643-4959-87f7-9ba79f9e8fb0': Document(page_content='foo')}

db2.docstore._dict

{'4fbcf8a2-e80f-4f65-9308-2f4cb27cb6e7': Document(page_content='bar')}

db1.merge_from(db2)

db1.docstore._dict

{'8164a453-9643-4959-87f7-9ba79f9e8fb0': Document(page_content='foo'),
 '4fbcf8a2-e80f-4f65-9308-2f4cb27cb6e7': Document(page_content='bar')}

带过滤的相似性搜索

FAISS 向量存储也支持过滤，由于 FAISS 本身不原生支持过滤，我们需要手动实现。这通过先获取比 `k` 更多的结果，然后对其进行过滤来完成。您可以根据元数据过滤文档。在调用任何搜索方法时，您还可以设置 `fetch_k` 参数来指定在过滤前要获取多少文档。这是一个小例子：

from langchain_core.documents import Document

list_of_documents = [
    Document(page_content="foo", metadata=dict(page=1)),
    Document(page_content="bar", metadata=dict(page=1)),
    Document(page_content="foo", metadata=dict(page=2)),
    Document(page_content="barbar", metadata=dict(page=2)),
    Document(page_content="foo", metadata=dict(page=3)),
    Document(page_content="bar burr", metadata=dict(page=3)),
    Document(page_content="foo", metadata=dict(page=4)),
    Document(page_content="bar bruh", metadata=dict(page=4)),
]
db = FAISS.from_documents(list_of_documents, embeddings)
results_with_scores = db.similarity_search_with_score("foo")
for doc, score in results_with_scores:
    print(f"Content: {doc.page_content}, Metadata: {doc.metadata}, Score: {score}")

API 参考：Document

Content: foo, Metadata: {'page': 1}, Score: 5.159960813797904e-15
Content: foo, Metadata: {'page': 2}, Score: 5.159960813797904e-15
Content: foo, Metadata: {'page': 3}, Score: 5.159960813797904e-15
Content: foo, Metadata: {'page': 4}, Score: 5.159960813797904e-15

现在我们进行相同的查询调用，但只过滤 `page = 1` 的结果。

results_with_scores = await db.asimilarity_search_with_score("foo", filter=dict(page=1))
for doc, score in results_with_scores:
    print(f"Content: {doc.page_content}, Metadata: {doc.metadata}, Score: {score}")

Content: foo, Metadata: {'page': 1}, Score: 5.159960813797904e-15
Content: bar, Metadata: {'page': 1}, Score: 0.3131446838378906

`max_marginal_relevance_search` 也可以执行相同的操作。

results = await db.amax_marginal_relevance_search("foo", filter=dict(page=1))
for doc in results:
    print(f"Content: {doc.page_content}, Metadata: {doc.metadata}")

Content: foo, Metadata: {'page': 1}
Content: bar, Metadata: {'page': 1}

这是一个关于在调用 `similarity_search` 时如何设置 `fetch_k` 参数的例子。通常，您会希望 `fetch_k` 参数远大于 `k` 参数。这是因为 `fetch_k` 参数是在过滤前将要获取的文档数量。如果将 `fetch_k` 设置为一个较低的数字，您可能无法获得足够的文档进行过滤。

results = await db.asimilarity_search("foo", filter=dict(page=1), k=1, fetch_k=4)
for doc in results:
    print(f"Content: {doc.page_content}, Metadata: {doc.metadata}")

Content: foo, Metadata: {'page': 1}

支持一些 MongoDB 查询和投影操作符以进行更高级的元数据过滤。当前支持的操作符列表如下：

$eq (等于)
$neq (不等于)
$gt (大于)
$lt (小于)
$gte (大于或等于)
$lte (小于或等于)
$in (在列表中)
$nin (不在列表中)
$and (所有条件都必须匹配)
$or (任何条件匹配即可)
$not (条件取反)

使用高级元数据过滤执行上述相同的相似性搜索可以按如下方式完成：

results = await db.asimilarity_search(
    "foo", filter={"page": {"$eq": 1}}, k=1, fetch_k=4
)
for doc in results:
    print(f"Content: {doc.page_content}, Metadata: {doc.metadata}")

Content: foo, Metadata: {'page': 1}

删除

您还可以删除 ID。请注意，要删除的 ID 应该是文档存储中的 ID。

db.delete([db.index_to_docstore_id[0]])

True

# Is now missing
0 in db.index_to_docstore_id

False

向量存储概念指南
向量存储操作指南

带分数的相似度搜索​

保存和加载​

序列化和反序列化为字节

合并​

带过滤的相似性搜索​

删除​

相关​

带分数的相似度搜索

保存和加载

合并

带过滤的相似性搜索

删除

相关