跳到主要内容

Momento

Momento Cache 是世界上第一个真正的无服务器缓存服务,提供即时弹性、零扩展能力和闪电般的速度。

Momento 向量索引 作为最高效、最易于使用的完全无服务器向量索引脱颖而出。

对于这两项服务,只需获取 SDK,获得 API 密钥,在您的代码中输入几行,即可开始使用。它们共同为您的 LLM 数据需求提供全面的解决方案。

此页面介绍如何在 LangChain 中使用 Momento 生态系统。

安装和设置

  • 此处注册一个免费帐户以获取 API 密钥
  • 使用 pip install momento 安装 Momento Python SDK

缓存

使用 Momento 作为 LLM 提示和响应的无服务器、分布式、低延迟缓存。标准缓存是 Momento 用户在任何环境中的主要用例。

要将 Momento Cache 集成到您的应用程序中

from langchain.cache import MomentoCache
API 参考:MomentoCache

然后,使用以下代码进行设置

from datetime import timedelta
from momento import CacheClient, Configurations, CredentialProvider
from langchain.globals import set_llm_cache

# Instantiate the Momento client
cache_client = CacheClient(
Configurations.Laptop.v1(),
CredentialProvider.from_environment_variable("MOMENTO_API_KEY"),
default_ttl=timedelta(days=1))

# Choose a Momento cache name of your choice
cache_name = "langchain"

# Instantiate the LLM cache
set_llm_cache(MomentoCache(cache_client, cache_name))
API 参考:set_llm_cache

内存

Momento 可以用作 LLM 的分布式内存存储。

请参阅此笔记本,了解如何使用 Momento 作为聊天消息历史的内存存储的演练。

from langchain.memory import MomentoChatMessageHistory

向量存储

Momento 向量索引 (MVI) 可以用作向量存储。

请参阅此笔记本,了解如何使用 MVI 作为向量存储的演练。

from langchain_community.vectorstores import MomentoVectorIndex
API 参考:MomentoVectorIndex

此页是否对您有帮助?