Typesense

Typesense 是一个开源的内存搜索引擎，您可以自行托管或在Typesense Cloud上运行。

Typesense 通过将整个索引存储在 RAM 中（并在磁盘上进行备份）来专注于性能，同时通过简化可用选项和设置良好默认值来提供开箱即用的开发人员体验。

它还允许您将基于属性的过滤与向量查询结合使用，以获取最相关的文档。

本 Notebook 演示了如何将 Typesense 用作您的向量存储。

我们首先安装依赖项

%pip install --upgrade --quiet  typesense openapi-schema-pydantic langchain-openai langchain-community tiktoken

我们想使用 `OpenAIEmbeddings`，因此需要获取 OpenAI API 密钥。

import getpass
import os

if "OPENAI_API_KEY" not in os.environ:
    os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Typesense
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

API 参考：TextLoader | Typesense | OpenAIEmbeddings | CharacterTextSplitter

让我们导入测试数据集

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()

docsearch = Typesense.from_documents(
    docs,
    embeddings,
    typesense_client_params={
        "host": "localhost",  # Use xxx.a1.typesense.net for Typesense Cloud
        "port": "8108",  # Use 443 for Typesense Cloud
        "protocol": "http",  # Use https for Typesense Cloud
        "typesense_api_key": "xyz",
        "typesense_collection_name": "lang-chain",
    },
)

相似度搜索

query = "What did the president say about Ketanji Brown Jackson"
found_docs = docsearch.similarity_search(query)

print(found_docs[0].page_content)

将 Typesense 作为检索器

Typesense 与其他所有向量存储一样，是一个 LangChain 检索器，它使用余弦相似度。

retriever = docsearch.as_retriever()
retriever

query = "What did the president say about Ketanji Brown Jackson"
retriever.invoke(query)[0]

向量存储概念指南
向量存储操作指南

相似度搜索​

将 Typesense 作为检索器​

相关​

相似度搜索

将 Typesense 作为检索器

相关