Marqo
本页介绍如何在 LangChain 中使用 Marqo 生态系统。
什么是 Marqo?
Marqo 是一个张量搜索引擎,它使用存储在内存 HNSW 索引中的嵌入来实现尖端的搜索速度。Marqo 可以通过水平索引分片扩展到数亿个文档索引,并允许异步和非阻塞的数据上传和搜索。Marqo 使用来自 PyTorch、Huggingface、OpenAI 等的最新机器学习模型。您可以从预配置的模型开始,也可以自带模型。内置的 ONNX 支持和转换允许在 CPU 和 GPU 上实现更快的推理和更高的吞吐量。
由于 Marqo 包含自己的推理,您的文档可以混合包含文本和图像,您可以将来自其他系统的 Marqo 索引带入 langchain 生态系统,而无需担心您的嵌入是否兼容。
Marqo 的部署很灵活,您可以自己使用我们的 Docker 镜像开始,或者联系我们了解我们的托管云服务!
要使用我们的 Docker 镜像在本地运行 Marqo,请参阅我们的入门指南。
安装和设置
- 使用
pip install marqo
安装 Python SDK
封装器
向量存储
存在一个围绕 Marqo 索引的封装器,允许您在向量存储框架中使用它们。Marqo 允许您从一系列模型中选择用于生成嵌入,并公开一些预处理配置。
Marqo 向量存储也可以与现有的多模态索引一起使用,其中您的文档混合包含图像和文本,有关更多信息,请参阅我们的文档。请注意,使用现有的多模态索引实例化 Marqo 向量存储将禁用通过 langchain 向量存储 add_texts
方法向其添加任何新文档的能力。
要导入此向量存储
from langchain_community.vectorstores import Marqo
API 参考:Marqo
有关 Marqo 封装器的更详细演练及其一些独特功能,请参阅此笔记本