ChatXinference

Xinference 是一个强大且通用的库，旨在为 LLM、语音识别模型和多模态模型提供服务，即使在您的笔记本电脑上也能运行。 它支持各种与 GGML 兼容的模型，例如 chatglm、baichuan、whisper、vicuna、orca 以及许多其他模型。

概述

集成详情

类	包	本地	可序列化	[JS 支持]	包下载量	最新包版本
ChatXinference	langchain-xinference	✅	❌	✅	✅	✅

模型特性

工具调用	结构化输出	JSON 模式	图像输入	音频输入	视频输入	Token 级别流式传输	原生异步	Token 使用量	Logprobs
✅	✅	✅	❌	❌	❌	✅	✅	❌	❌

设置

通过 PyPI 安装 Xinference

%pip install --upgrade --quiet  "xinference[all]"

在本地或分布式集群中部署 Xinference。

对于本地部署，运行 xinference。

要在集群中部署 Xinference，首先使用 xinference-supervisor 启动 Xinference supervisor。 您还可以使用 -p 选项指定端口，-H 选项指定主机。 默认端口是 8080，默认主机是 0.0.0.0。

然后，在您想要运行 Xinference worker 的每台服务器上使用 xinference-worker 启动 worker。

您可以查阅 Xinference 中的 README 文件以获取更多信息。

Wrapper

要将 Xinference 与 LangChain 一起使用，您需要首先启动一个模型。 您可以使用命令行界面 (CLI) 来执行此操作

%xinference launch -n vicuna-v1.3 -f ggmlv3 -q q4_0

Model uid: 7167b2b0-2a04-11ee-83f0-d29396a3f064

将返回一个模型 UID 供您使用。 现在您可以将 Xinference 与 LangChain 一起使用

安装

LangChain Xinference 集成位于 langchain-xinference 包中

%pip install -qU langchain-xinference

请确保您使用最新版本的 Xinference 以获得结构化输出。

实例化

现在我们可以实例化我们的模型对象并生成聊天补全

from langchain_xinference.chat_models import ChatXinference

llm = ChatXinference(
    server_url="your_server_url", model_uid="7167b2b0-2a04-11ee-83f0-d29396a3f064"
)

llm.invoke(
    "Q: where can we visit in the capital of France?",
    config={"max_tokens": 1024},
)

调用

from langchain_core.messages import HumanMessage, SystemMessage
from langchain_xinference.chat_models import ChatXinference

llm = ChatXinference(
    server_url="your_server_url", model_uid="7167b2b0-2a04-11ee-83f0-d29396a3f064"
)

system_message = "You are a helpful assistant that translates English to French. Translate the user sentence."
human_message = "I love programming."

llm.invoke([HumanMessage(content=human_message), SystemMessage(content=system_message)])

API 参考文档：HumanMessage | SystemMessage

链式调用

我们可以像这样使用提示模板链接我们的模型

from langchain.prompts import PromptTemplate
from langchain_xinference.chat_models import ChatXinference

prompt = PromptTemplate(
    input=["country"], template="Q: where can we visit in the capital of {country}? A:"
)

llm = ChatXinference(
    server_url="your_server_url", model_uid="7167b2b0-2a04-11ee-83f0-d29396a3f064"
)

chain = prompt | llm
chain.invoke(input={"country": "France"})
chain.stream(input={"country": "France"})

API 参考文档：PromptTemplate

API 参考文档

有关所有 ChatXinference 功能和配置的详细文档，请访问 API 参考文档： https://github.com/TheSongg/langchain-xinference

相关内容

• 聊天模型 概念指南
• 聊天模型 使用指南