QianfanChatEndpoint
百度 AI 云千帆平台是面向企业开发者的**一站式大模型开发和服务运营平台**。千帆不仅提供包括文心一言（ERNIE-Bot）模型和第三方开源模型，还提供各种 AI 开发工具和完善的开发环境，方便客户轻松使用和开发大模型应用。
基本上，这些模型可以分为以下类型
- 嵌入
- 聊天
- 补全
在本笔记本中，我们将介绍如何使用 LangChain 与 千帆 进行交互，主要关注 Chat 类型，对应 LangChain 中的 langchain/chat_models 包。
API 初始化
要使用基于百度千帆的 LLM 服务，您必须初始化以下参数。
您可以选择在环境变量中初始化 AK、SK，或初始化参数。
export QIANFAN_AK=XXX
export QIANFAN_SK=XXX
当前支持的模型：
- ERNIE-Bot-turbo（默认模型）
- ERNIE-Bot
- BLOOMZ-7B
- Llama-2-7b-chat
- Llama-2-13b-chat
- Llama-2-70b-chat
- Qianfan-BLOOMZ-7B-compressed
- Qianfan-Chinese-Llama-2-7B
- ChatGLM2-6B-32K
- AquilaChat-7B
设置
"""For basic init and call"""
import os
from langchain_community.chat_models import QianfanChatEndpoint
from langchain_core.language_models.chat_models import HumanMessage
os.environ["QIANFAN_AK"] = "Your_api_key"
os.environ["QIANFAN_SK"] = "You_secret_Key"
API 参考：QianfanChatEndpoint | HumanMessage
用法
chat = QianfanChatEndpoint(streaming=True)
messages = [HumanMessage(content="Hello")]
chat.invoke(messages)
AIMessage(content='您好！请问您需要什么帮助？我将尽力回答您的问题。')
await chat.ainvoke(messages)
AIMessage(content='您好！有什么我可以帮助您的吗？')
chat.batch([messages])
[AIMessage(content='您好！有什么我可以帮助您的吗？')]
流式输出
try:
for chunk in chat.stream(messages):
print(chunk.content, end="", flush=True)
except TypeError as e:
print("")
您好！有什么我可以帮助您的吗？
在千帆中使用不同的模型
默认模型为 ERNIE-Bot-turbo。如果您想部署基于文心一言或第三方开源模型的自定义模型，可以按照以下步骤操作。
- （可选，如果模型包含在默认模型中，请跳过此步骤）在千帆控制台中部署您的模型，获取您自己的自定义部署端点。
- 在初始化时设置名为
endpoint的字段。
chatBot = QianfanChatEndpoint(
streaming=True,
model="ERNIE-Bot",
)
messages = [HumanMessage(content="Hello")]
chatBot.invoke(messages)
AIMessage(content='Hello，可以回答问题了，我会竭尽全力为您解答，请问有什么问题吗？')
模型参数：
目前，只有 ERNIE-Bot 和 ERNIE-Bot-turbo 支持以下模型参数，我们可能会在未来支持更多模型。
- 温度
- top_p
- 惩罚分数
chat.invoke(
[HumanMessage(content="Hello")],
**{"top_p": 0.4, "temperature": 0.1, "penalty_score": 1},
)
AIMessage(content='您好！有什么我可以帮助您的吗？')