跳到主要内容

Xorbits 推理 (Xinference)

本页演示如何将 Xinference 与 LangChain 一起使用。

Xinference 是一个强大且多功能的库,旨在为 LLM、语音识别模型和多模态模型提供服务,即使在您的笔记本电脑上也是如此。借助 Xorbits Inference,您只需一个命令即可轻松部署和服务您自己的模型或最先进的内置模型。

安装和设置

可以通过 pip 从 PyPI 安装 Xinference

pip install "xinference[all]"

LLM

Xinference 支持各种与 GGML 兼容的模型,包括 chatglm、baichuan、whisper、vicuna 和 orca。要查看内置模型,请运行命令

xinference list --all

Xinference 的封装器

您可以通过运行以下命令启动 Xinference 的本地实例

xinference

您还可以在分布式集群中部署 Xinference。为此,首先在您要运行它的服务器上启动 Xinference supervisor

xinference-supervisor -H "${supervisor_host}"

然后,在您要运行它们的其他每台服务器上启动 Xinference 工作程序

xinference-worker -e "http://${supervisor_host}:9997"

您还可以通过运行以下命令启动 Xinference 的本地实例

xinference

一旦 Xinference 运行,就可以通过 CLI 或 Xinference 客户端访问用于模型管理的端点。

对于本地部署,端点将是 https://127.0.0.1:9997

对于集群部署,端点将是 http://${supervisor_host}:9997。

然后,您需要启动一个模型。您可以指定模型名称和其他属性,包括 model_size_in_billions 和量化。您可以使用命令行界面 (CLI) 来执行此操作。例如,

xinference launch -n orca -s 3 -q q4_0

将返回模型 uid。

用法示例

from langchain_community.llms import Xinference

llm = Xinference(
server_url="http://0.0.0.0:9997",
model_uid = {model_uid} # replace model_uid with the model UID return from launching the model
)

llm(
prompt="Q: where can we visit in the capital of France? A:",
generate_config={"max_tokens": 1024, "stream": True},
)

API 参考:Xinference

用法

有关更多信息和详细示例,请参阅 xinference LLM 的示例

嵌入

Xinference 还支持嵌入查询和文档。请参阅 xinference 嵌入的示例,了解更详细的演示。


此页面有帮助吗?