OpenLLM
OpenLLM 允许开发者通过一个命令运行任何开源 LLM 作为 OpenAI 兼容的 API 端点。
- 🔬 专为快速和生产使用而构建
- 🚂 支持 llama3、qwen2、gemma 等,以及许多量化版本 完整列表
- ⛓️ OpenAI 兼容 API
- 💬 内置类似 ChatGPT 的用户界面
- 🔥 通过最先进的推理后端加速 LLM 解码
- 🌥️ 适用于企业级云部署 (Kubernetes, Docker 和 BentoCloud)
安装与设置
通过 PyPI 安装 OpenLLM 包
pip install openllm
LLM
OpenLLM 支持广泛的开源 LLM,并可用于部署用户自己的微调 LLM。使用 openllm model
命令可查看所有针对 OpenLLM 预优化的可用模型。
包装器
有一个 OpenLLM Wrapper,支持与运行 OpenLLM 的服务器进行交互
from langchain_community.llms import OpenLLM
API 参考:OpenLLM
OpenLLM 服务器包装器
此包装器支持与 OpenLLM 的 OpenAI 兼容端点进行交互。
要运行模型,请执行
openllm hello
包装器使用
from langchain_community.llms import OpenLLM
llm = OpenLLM(base_url="https://:3000/v1", api_key="na")
llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")
API 参考:OpenLLM
使用
有关 OpenLLM 包装器的更详细演练,请参阅示例笔记本