跳到主要内容
Open In ColabOpen on GitHub

Upstash 限速回调

在本指南中,我们将介绍如何使用UpstashRatelimitHandler根据请求数量或令牌数量添加速率限制。此处理程序使用Upstash 的限速库,该库利用了Upstash Redis

Upstash Ratelimit 的工作原理是每次调用limit方法时都会向 Upstash Redis 发送 HTTP 请求。用户的剩余令牌/请求会被检查和更新。根据剩余令牌,我们可以停止执行耗费资源的操作,例如调用 LLM 或查询向量存储。

response = ratelimit.limit()
if response.allowed:
execute_costly_operation()

UpstashRatelimitHandler让您可以在几分钟内将限速逻辑集成到您的链中。

首先,您需要前往Upstash 控制台并创建一个 Redis 数据库(请参阅我们的文档)。创建数据库后,您需要设置环境变量。

UPSTASH_REDIS_REST_URL="****"
UPSTASH_REDIS_REST_TOKEN="****"

接下来,您需要安装 Upstash Ratelimit 和 Redis 库,使用命令:

pip install upstash-ratelimit upstash-redis

现在您已准备好为您的链添加速率限制!

按请求限速

假设我们希望允许用户每分钟调用我们的链 10 次。实现这一点就像这样简单:

# set env variables
import os

os.environ["UPSTASH_REDIS_REST_URL"] = "****"
os.environ["UPSTASH_REDIS_REST_TOKEN"] = "****"

from langchain_community.callbacks import UpstashRatelimitError, UpstashRatelimitHandler
from langchain_core.runnables import RunnableLambda
from upstash_ratelimit import FixedWindow, Ratelimit
from upstash_redis import Redis

# create ratelimit
ratelimit = Ratelimit(
redis=Redis.from_env(),
# 10 requests per window, where window size is 60 seconds:
limiter=FixedWindow(max_requests=10, window=60),
)

# create handler
user_id = "user_id" # should be a method which gets the user id
handler = UpstashRatelimitHandler(identifier=user_id, request_ratelimit=ratelimit)

# create mock chain
chain = RunnableLambda(str)

# invoke chain with handler:
try:
result = chain.invoke("Hello world!", config={"callbacks": [handler]})
except UpstashRatelimitError:
print("Handling ratelimit.", UpstashRatelimitError)
Error in UpstashRatelimitHandler.on_chain_start callback: UpstashRatelimitError('Request limit reached!')
``````output
Handling ratelimit. <class 'langchain_community.callbacks.upstash_ratelimit_callback.UpstashRatelimitError'>

请注意,我们将处理程序传递给invoke方法,而不是在定义链时传递处理程序。

对于除FixedWindow之外的限速算法,请参阅upstash-ratelimit 文档

在执行管道中的任何步骤之前,限速器将检查用户是否已超出请求限制。如果超出,则会引发UpstashRatelimitError

按令牌限速

另一种选择是根据以下因素对链调用进行速率限制:

  1. 提示中的令牌数量
  2. 提示和 LLM 完成中的令牌数量

这仅在您的链中包含 LLM 时才有效。另一个要求是您使用的 LLM 应该在其LLMOutput中返回令牌使用情况。

工作原理

处理程序将在调用 LLM 之前获取剩余令牌。如果剩余令牌大于 0,则会调用 LLM。否则,将引发UpstashRatelimitError

LLM 调用后,令牌使用信息将被用于从用户的剩余令牌中扣除。在链的此阶段不会引发错误。

配置

对于第一种配置,只需像这样初始化处理程序:

ratelimit = Ratelimit(
redis=Redis.from_env(),
# 1000 tokens per window, where window size is 60 seconds:
limiter=FixedWindow(max_requests=1000, window=60),
)

handler = UpstashRatelimitHandler(identifier=user_id, token_ratelimit=ratelimit)

对于第二种配置,以下是如何初始化处理程序:

ratelimit = Ratelimit(
redis=Redis.from_env(),
# 1000 tokens per window, where window size is 60 seconds:
limiter=FixedWindow(max_requests=1000, window=60),
)

handler = UpstashRatelimitHandler(
identifier=user_id,
token_ratelimit=ratelimit,
include_output_tokens=True, # set to True
)

您还可以通过同时传递request_ratelimittoken_ratelimit参数来同时采用基于请求和令牌的速率限制。

这是一个使用 LLM 的链的示例:

# set env variables
import os

os.environ["UPSTASH_REDIS_REST_URL"] = "****"
os.environ["UPSTASH_REDIS_REST_TOKEN"] = "****"
os.environ["OPENAI_API_KEY"] = "****"

from langchain_community.callbacks import UpstashRatelimitError, UpstashRatelimitHandler
from langchain_core.runnables import RunnableLambda
from langchain_openai import ChatOpenAI
from upstash_ratelimit import FixedWindow, Ratelimit
from upstash_redis import Redis

# create ratelimit
ratelimit = Ratelimit(
redis=Redis.from_env(),
# 500 tokens per window, where window size is 60 seconds:
limiter=FixedWindow(max_requests=500, window=60),
)

# create handler
user_id = "user_id" # should be a method which gets the user id
handler = UpstashRatelimitHandler(identifier=user_id, token_ratelimit=ratelimit)

# create mock chain
as_str = RunnableLambda(str)
model = ChatOpenAI()

chain = as_str | model

# invoke chain with handler:
try:
result = chain.invoke("Hello world!", config={"callbacks": [handler]})
except UpstashRatelimitError:
print("Handling ratelimit.", UpstashRatelimitError)
Error in UpstashRatelimitHandler.on_llm_start callback: UpstashRatelimitError('Token limit reached!')
``````output
Handling ratelimit. <class 'langchain_community.callbacks.upstash_ratelimit_callback.UpstashRatelimitError'>