跳到主要内容

LiteLLM

LiteLLM 是一个简化调用 Anthropic、Azure、Huggingface、Replicate 等 LLM 的统一方式的库。

您可以通过以下方式使用 LiteLLM：

  • LiteLLM 代理服务器 - 用于调用 100 多个 LLM、负载均衡、跨项目成本跟踪的服务器
  • LiteLLM Python SDK - 用于调用 100 多个 LLM、负载均衡、成本跟踪的 Python 客户端

安装和设置​

安装 litellm Python 包。

pip install litellm

聊天模型​

ChatLiteLLM​

请参阅用法示例。

from langchain_community.chat_models import ChatLiteLLM
API 参考:ChatLiteLLM

ChatLiteLLMRouter​

您还可以使用 ChatLiteLLMRouter 将请求路由到不同的 LLM 或 LLM 提供商。

请参阅用法示例。

from langchain_community.chat_models import ChatLiteLLMRouter

此页是否对您有帮助？