ChatXinference
Xinference 是一个功能强大且多功能的库,旨在提供 LLM、语音识别模型和多模态模型服务,甚至可以在您的笔记本电脑上运行。它支持多种与 GGML 兼容的模型,例如 chatglm、baichuan、whisper、vicuna、orca 等等。
概述
集成详情
类别 | 包 | 本地 | 可序列化 | [JS 支持] | 包下载量 | 最新包版本 |
---|---|---|---|---|---|---|
ChatXinference | langchain-xinference | ✅ | ❌ | ✅ | ✅ | ✅ |
模型特性
工具调用 | 结构化输出 | JSON 模式 | 图片输入 | 音频输入 | 视频输入 | 逐令牌流式传输 | 原生异步 | 令牌使用量 | 对数概率 |
---|---|---|---|---|---|---|---|---|---|
✅ | ✅ | ✅ | ❌ | ❌ | ❌ | ✅ | ✅ | ❌ | ❌ |
设置
安装 Xinference
通过 PyPI
%pip install --upgrade --quiet "xinference[all]"
在本地或分布式集群中部署 Xinference。
对于本地部署,运行 xinference
。
要在集群中部署 Xinference,首先使用 xinference-supervisor
启动一个 Xinference 监督器。您也可以使用 -p 选项指定端口,使用 -H 选项指定主机。默认端口是 8080,默认主机是 0.0.0.0。
然后,在您希望运行它们的每台服务器上使用 xinference-worker
启动 Xinference 工作器。
您可以查阅 Xinference 的 README 文件以获取更多信息。
包装器
要将 Xinference 与 LangChain 结合使用,您需要先启动一个模型。您可以使用命令行界面 (CLI) 来完成此操作
%xinference launch -n vicuna-v1.3 -f ggmlv3 -q q4_0
Model uid: 7167b2b0-2a04-11ee-83f0-d29396a3f064
将返回一个模型 UID 供您使用。现在您可以将 Xinference 与 LangChain 结合使用
安装
LangChain Xinference 集成位于 langchain-xinference
包中
%pip install -qU langchain-xinference
确保您使用的是最新版本的 Xinference,以获得结构化输出。
实例化
现在我们可以实例化模型对象并生成聊天补全
from langchain_xinference.chat_models import ChatXinference
llm = ChatXinference(
server_url="your_server_url", model_uid="7167b2b0-2a04-11ee-83f0-d29396a3f064"
)
llm.invoke(
"Q: where can we visit in the capital of France?",
config={"max_tokens": 1024},
)
调用
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_xinference.chat_models import ChatXinference
llm = ChatXinference(
server_url="your_server_url", model_uid="7167b2b0-2a04-11ee-83f0-d29396a3f064"
)
system_message = "You are a helpful assistant that translates English to French. Translate the user sentence."
human_message = "I love programming."
llm.invoke([HumanMessage(content=human_message), SystemMessage(content=system_message)])
API 参考:HumanMessage | SystemMessage
链式调用
我们可以像这样将模型与提示模板链式连接起来
from langchain.prompts import PromptTemplate
from langchain_xinference.chat_models import ChatXinference
prompt = PromptTemplate(
input=["country"], template="Q: where can we visit in the capital of {country}? A:"
)
llm = ChatXinference(
server_url="your_server_url", model_uid="7167b2b0-2a04-11ee-83f0-d29396a3f064"
)
chain = prompt | llm
chain.invoke(input={"country": "France"})
chain.stream(input={"country": "France"})
API 参考:PromptTemplate
API 参考
有关所有 ChatXinference 功能和配置的详细文档,请参阅 API 参考:https://github.com/TheSongg/langchain-xinference