跳到主要内容
Open on GitHub

LiteLLM

LiteLLM 是一个库，可以简化以统一方式调用 Anthropic、Azure、Huggingface、Replicate 等 LLM 的过程。

您可以通过以下方式使用 LiteLLM

  • LiteLLM 代理服务器 - 用于调用 100 多个 LLM、负载均衡、跨项目成本跟踪的服务器
  • LiteLLM python SDK - 用于调用 100 多个 LLM、负载均衡、成本跟踪的 Python 客户端

安装和设置​

安装 litellm python 包。

pip install litellm

聊天模型​

ChatLiteLLM​

请参阅使用示例。

from langchain_community.chat_models import ChatLiteLLM
API 参考：ChatLiteLLM

ChatLiteLLMRouter​

您还可以使用 ChatLiteLLMRouter 将请求路由到不同的 LLM 或 LLM 提供商。

请参阅使用示例。

from langchain_community.chat_models import ChatLiteLLMRouter
API 参考：ChatLiteLLMRouter

此页对您有帮助吗？