跳到主要内容

OpenLLM

OpenLLM 使开发者可以通过**单个命令**将任何**开源 LLM** 作为 **OpenAI 兼容的 API** 端点运行。

  • 🔬 为快速生产用途而构建
  • 🚂 支持 llama3, qwen2, gemma 等，以及许多**量化**版本 完整列表
  • ⛓️ OpenAI 兼容 API
  • 💬 内置类似 ChatGPT 的 UI
  • 🔥 通过最先进的推理后端加速 LLM 解码
  • 🌥️ 准备好用于企业级云部署（Kubernetes、Docker 和 BentoCloud）

安装和设置​

通过 PyPI 安装 OpenLLM 包

pip install openllm

LLM​

OpenLLM 支持各种开源 LLM 以及为用户自己的微调 LLM 提供服务。使用 openllm model 命令查看所有可用于 OpenLLM 的预优化模型。

包装器​

有一个 OpenLLM 包装器，它支持与运行 OpenLLM 的服务器进行交互

from langchain_community.llms import OpenLLM
API 参考：OpenLLM

OpenLLM 服务器的包装器​

此包装器支持与 OpenLLM 的 OpenAI 兼容端点进行交互。

要运行模型，请执行

openllm hello

包装器用法

from langchain_community.llms import OpenLLM

llm = OpenLLM(base_url="https://127.0.0.1:3000/v1", api_key="na")

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")
API 参考：OpenLLM

用法​

有关 OpenLLM 包装器的更详细演练，请参阅示例笔记本

此页面是否对您有帮助？