BM25
BM25(维基百科) 也称为
Okapi BM25
,是一种信息检索系统中使用的排序函数,用于估计文档与给定搜索查询的相关性。
BM25Retriever
检索器使用rank_bm25
包。
%pip install --upgrade --quiet rank_bm25
from langchain_community.retrievers import BM25Retriever
API 参考:BM25Retriever
使用文本创建新的检索器
retriever = BM25Retriever.from_texts(["foo", "bar", "world", "hello", "foo bar"])
使用文档创建新的检索器
现在你可以使用创建的文档创建一个新的检索器。
from langchain_core.documents import Document
retriever = BM25Retriever.from_documents(
[
Document(page_content="foo"),
Document(page_content="bar"),
Document(page_content="world"),
Document(page_content="hello"),
Document(page_content="foo bar"),
]
)
API 参考:Document
使用检索器
现在我们可以使用检索器了!
result = retriever.invoke("foo")
result
[Document(page_content='foo', metadata={}),
Document(page_content='foo bar', metadata={}),
Document(page_content='hello', metadata={}),
Document(page_content='world', metadata={})]