NVIDIA聊天
这将帮助您开始使用NVIDIA聊天模型。有关所有ChatNVIDIA
功能和配置的详细文档,请查阅API参考。
概述
langchain-nvidia-ai-endpoints
包包含LangChain集成,用于使用NVIDIA NIM推理微服务上的模型构建应用程序。NIM支持来自社区以及NVIDIA的聊天、嵌入和重排序模型等领域的模型。这些模型由NVIDIA优化,可在NVIDIA加速基础设施上提供最佳性能,并作为NIM部署——NIM是易于使用的预构建容器,可通过NVIDIA加速基础设施上的单个命令在任何地方部署。
NVIDIA托管的NIM部署可在NVIDIA API目录上进行测试。测试后,NIM可以使用NVIDIA AI Enterprise许可证从NVIDIA的API目录导出,并在本地或云端运行,从而使企业对其知识产权(IP)和AI应用程序拥有所有权和完全控制权。
NIM 以每个模型的容器镜像形式打包,并通过 NVIDIA NGC 目录作为 NGC 容器镜像分发。NIM 的核心是提供简单、一致且熟悉的 API,用于在 AI 模型上运行推理。
本示例介绍了如何使用LangChain通过ChatNVIDIA
类与NVIDIA进行交互。
有关通过此API访问聊天模型的更多信息,请查阅ChatNVIDIA文档。
集成详情
类别 | 包 | 本地 | 可序列化 | JS 支持 | 包下载量 | 最新包版本 |
---|---|---|---|---|---|---|
NVIDIA聊天 | langchain_nvidia_ai_endpoints | ✅ | 测试版 | ❌ |
模型特性
工具调用 | 结构化输出 | JSON 模式 | 图片输入 | 音频输入 | 视频输入 | 逐令牌流式传输 | 原生异步 | 令牌使用量 | 对数概率 |
---|---|---|---|---|---|---|---|---|---|
✅ | ✅ | ✅ | ✅ | ❌ | ❌ | ✅ | ✅ | ✅ | ❌ |
设置
开始使用
-
在 NVIDIA 创建免费账户,该平台托管 NVIDIA AI 基础模型。
-
点击您选择的模型。
-
在
Input
下选择Python
选项卡,然后点击Get API Key
。接着点击Generate Key
。 -
复制生成的密钥并将其保存为
NVIDIA_API_KEY
。之后,您应该能够访问这些端点。
凭证
import getpass
import os
if not os.getenv("NVIDIA_API_KEY"):
# Note: the API key should start with "nvapi-"
os.environ["NVIDIA_API_KEY"] = getpass.getpass("Enter your NVIDIA API key: ")
要启用模型调用的自动跟踪,请设置您的 LangSmith API 密钥
# os.environ["LANGSMITH_TRACING"] = "true"
# os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
安装
LangChain NVIDIA AI Endpoints集成位于langchain_nvidia_ai_endpoints
包中。
%pip install --upgrade --quiet langchain-nvidia-ai-endpoints
实例化
现在我们可以访问NVIDIA API目录中的模型了
## Core LC Chat Interface
from langchain_nvidia_ai_endpoints import ChatNVIDIA
llm = ChatNVIDIA(model="mistralai/mixtral-8x7b-instruct-v0.1")
调用
result = llm.invoke("Write a ballad about LangChain.")
print(result.content)
使用NVIDIA NIMs
准备部署时,您可以使用NVIDIA NIM自行托管模型——NVIDIA AI Enterprise软件许可证包含此功能——并在任何地方运行它们,让您拥有自定义内容的所有权,并完全控制您的知识产权(IP)和AI应用程序。
from langchain_nvidia_ai_endpoints import ChatNVIDIA
# connect to an embedding NIM running at localhost:8000, specifying a specific model
llm = ChatNVIDIA(base_url="https://:8000/v1", model="meta/llama3-8b-instruct")
流式传输、批处理和异步
这些模型原生支持流式传输,与所有LangChain LLM一样,它们提供批处理方法来处理并发请求,以及用于调用、流式传输和批处理的异步方法。以下是几个示例。
print(llm.batch(["What's 2*3?", "What's 2*6?"]))
# Or via the async API
# await llm.abatch(["What's 2*3?", "What's 2*6?"])
for chunk in llm.stream("How far can a seagull fly in one day?"):
# Show the token separations
print(chunk.content, end="|")
async for chunk in llm.astream(
"How long does it take for monarch butterflies to migrate?"
):
print(chunk.content, end="|")
支持的模型
查询available_models
仍将提供您的API凭据所提供的所有其他模型。
playground_
前缀是可选的。
ChatNVIDIA.get_available_models()
# llm.get_available_models()
模型类型
以上所有模型均受支持,可通过ChatNVIDIA
访问。
某些模型类型支持独特的提示技术和聊天消息。我们将在下面回顾几个重要的内容。
要了解有关特定模型的更多信息,请导航至此处链接的AI基础模型的API部分。
通用聊天
meta/llama3-8b-instruct
和mistralai/mixtral-8x22b-instruct-v0.1
等模型是全面的通用模型,可用于任何LangChain聊天消息。示例如下。
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_nvidia_ai_endpoints import ChatNVIDIA
prompt = ChatPromptTemplate.from_messages(
[("system", "You are a helpful AI assistant named Fred."), ("user", "{input}")]
)
chain = prompt | ChatNVIDIA(model="meta/llama3-8b-instruct") | StrOutputParser()
for txt in chain.stream({"input": "What's your name?"}):
print(txt, end="")
代码生成
这些模型接受与常规聊天模型相同的参数和输入结构,但它们在代码生成和结构化代码任务上表现更好。一个例子是meta/codellama-70b
。
prompt = ChatPromptTemplate.from_messages(
[
(
"system",
"You are an expert coding AI. Respond only in valid python; no narration whatsoever.",
),
("user", "{input}"),
]
)
chain = prompt | ChatNVIDIA(model="meta/codellama-70b") | StrOutputParser()
for txt in chain.stream({"input": "How do I solve this fizz buzz problem?"}):
print(txt, end="")
多模态
NVIDIA还支持多模态输入,这意味着您可以同时提供图像和文本供模型进行推理。一个支持多模态输入的模型示例是nvidia/neva-22b
。
以下是一个使用示例
import IPython
import requests
image_url = "https://www.nvidia.com/content/dam/en-zz/Solutions/research/ai-playground/nvidia-picasso-3c33-p@2x.jpg" ## Large Image
image_content = requests.get(image_url).content
IPython.display.Image(image_content)
from langchain_nvidia_ai_endpoints import ChatNVIDIA
llm = ChatNVIDIA(model="nvidia/neva-22b")
以URL形式传递图像
from langchain_core.messages import HumanMessage
llm.invoke(
[
HumanMessage(
content=[
{"type": "text", "text": "Describe this image:"},
{"type": "image_url", "image_url": {"url": image_url}},
]
)
]
)
以Base64编码字符串形式传递图像
目前,为了支持像上面这样的大图像,客户端会进行一些额外的处理。但对于较小的图像(以及为了更好地说明后台进行的流程),我们可以如下所示直接传入图像
import IPython
import requests
image_url = "https://picsum.photos/seed/kitten/300/200"
image_content = requests.get(image_url).content
IPython.display.Image(image_content)
import base64
from langchain_core.messages import HumanMessage
## Works for simpler images. For larger images, see actual implementation
b64_string = base64.b64encode(image_content).decode("utf-8")
llm.invoke(
[
HumanMessage(
content=[
{"type": "text", "text": "Describe this image:"},
{
"type": "image_url",
"image_url": {"url": f"data:image/png;base64,{b64_string}"},
},
]
)
]
)
直接在字符串中
NVIDIA API独特地接受嵌入在<img/>
HTML标签中的Base64图像。虽然这与其他LLM不兼容,但您可以据此直接提示模型。
base64_with_mime_type = f"data:image/png;base64,{b64_string}"
llm.invoke(f'What\'s in this image?\n<img src="{base64_with_mime_type}" />')
RunnableWithMessageHistory 中的使用示例
与其他任何集成一样,ChatNVIDIA支持像RunnableWithMessageHistory这样的聊天工具,这类似于使用ConversationChain
。下面,我们展示了应用于mistralai/mixtral-8x22b-instruct-v0.1
模型的LangChain RunnableWithMessageHistory示例。
%pip install --upgrade --quiet langchain
from langchain_core.chat_history import InMemoryChatMessageHistory
from langchain_core.runnables.history import RunnableWithMessageHistory
# store is a dictionary that maps session IDs to their corresponding chat histories.
store = {} # memory is maintained outside the chain
# A function that returns the chat history for a given session ID.
def get_session_history(session_id: str) -> InMemoryChatMessageHistory:
if session_id not in store:
store[session_id] = InMemoryChatMessageHistory()
return store[session_id]
chat = ChatNVIDIA(
model="mistralai/mixtral-8x22b-instruct-v0.1",
temperature=0.1,
max_tokens=100,
top_p=1.0,
)
# Define a RunnableConfig object, with a `configurable` key. session_id determines thread
config = {"configurable": {"session_id": "1"}}
conversation = RunnableWithMessageHistory(
chat,
get_session_history,
)
conversation.invoke(
"Hi I'm Srijan Dubey.", # input or query
config=config,
)
conversation.invoke(
"I'm doing well! Just having a conversation with an AI.",
config=config,
)
conversation.invoke(
"Tell me about yourself.",
config=config,
)
工具调用
从v0.2版本开始,ChatNVIDIA
支持bind_tools
。
ChatNVIDIA
提供了与build.nvidia.com上的各种模型以及本地NIM的集成。并非所有这些模型都经过工具调用训练。请务必选择一个支持工具调用的模型,以进行您的实验和应用程序开发。
您可以获取已知支持工具调用的模型列表,通过
tool_models = [
model for model in ChatNVIDIA.get_available_models() if model.supports_tools
]
tool_models
使用支持工具的模型,
from langchain_core.tools import tool
from pydantic import Field
@tool
def get_current_weather(
location: str = Field(..., description="The location to get the weather for."),
):
"""Get the current weather for a location."""
...
llm = ChatNVIDIA(model=tool_models[0].id).bind_tools(tools=[get_current_weather])
response = llm.invoke("What is the weather in Boston?")
response.tool_calls
有关其他示例,请参阅如何使用聊天模型调用工具。
链式调用
我们可以像这样将模型与提示模板链式连接起来
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate(
[
(
"system",
"You are a helpful assistant that translates {input_language} to {output_language}.",
),
("human", "{input}"),
]
)
chain = prompt | llm
chain.invoke(
{
"input_language": "English",
"output_language": "German",
"input": "I love programming.",
}
)
API 参考
有关所有ChatNVIDIA
功能和配置的详细文档,请查阅API参考:https://python.langchain.ac.cn/api_reference/nvidia_ai_endpoints/chat_models/langchain_nvidia_ai_endpoints.chat_models.ChatNVIDIA.html