文本嵌入模型
信息
请访问集成,了解有关与文本嵌入模型提供商的内置集成的文档。
Embeddings
类是一个用于与文本嵌入模型交互的类。有很多嵌入模型提供商(OpenAI、Cohere、Hugging Face 等)- 此类旨在为所有这些提供一个标准接口。
嵌入会创建一段文本的向量表示。这很有用,因为它意味着我们可以在向量空间中考虑文本,并进行语义搜索等操作,在向量空间中查找最相似的文本片段。
LangChain 中的基本 Embeddings
类提供了两个方法:一个用于嵌入文档,另一个用于嵌入查询。前者 .embed_documents
将多个文本作为输入,而后者 .embed_query
接收单个文本。将它们作为两个单独方法的原因是一些嵌入提供商对于文档(要搜索的)和查询(搜索查询本身)有不同的嵌入方法。 .embed_query
将返回一个浮点数列表,而 .embed_documents
将返回一个浮点数列表的列表。
开始使用
设置
选择 嵌入模型
pip install -qU langchain-openai
import getpass
import os
if not os.environ.get("OPENAI_API_KEY"):
os.environ["OPENAI_API_KEY"] = getpass.getpass("Enter API key for OpenAI: ")
from langchain_openai import OpenAIEmbeddings
embeddings_model = OpenAIEmbeddings(model="text-embedding-3-large")
embed_documents
嵌入文本列表
使用 .embed_documents
来嵌入字符串列表,恢复嵌入列表
embeddings = embeddings_model.embed_documents(
[
"Hi there!",
"Oh, hello!",
"What's your name?",
"My friends call me World",
"Hello World!"
]
)
len(embeddings), len(embeddings[0])
(5, 1536)
embed_query
嵌入单个查询
使用 .embed_query
来嵌入一段文本(例如,为了与其他嵌入的文本片段进行比较)。
embedded_query = embeddings_model.embed_query("What was the name mentioned in the conversation?")
embedded_query[:5]
[0.0053587136790156364,
-0.0004999046213924885,
0.038883671164512634,
-0.003001077566295862,
-0.00900818221271038]