跳到主要内容

NVIDIA

langchain-nvidia-ai-endpoints 包包含 LangChain 集成,用于使用 NVIDIA NIM 推理微服务上的模型构建应用程序。NIM 支持来自社区以及 NVIDIA 的跨域模型,如聊天、嵌入和重新排名模型。这些模型经过 NVIDIA 优化,可在 NVIDIA 加速基础设施上提供最佳性能,并作为 NIM 部署,NIM 是一种易于使用的预构建容器,可在 NVIDIA 加速基础设施上使用单个命令部署在任何地方。

NIM 的 NVIDIA 托管部署可在 NVIDIA API 目录 上进行测试。测试后,可以使用 NVIDIA AI Enterprise 许可证从 NVIDIA 的 API 目录导出 NIM,并在本地或云端运行,使企业拥有其 IP 和 AI 应用程序的所有权和完全控制权。

NIM 以每个模型为基础打包为容器镜像,并通过 NVIDIA NGC 目录作为 NGC 容器镜像分发。NIM 的核心是为在 AI 模型上运行推理提供简单、一致和熟悉的 API。

以下是如何使用一些围绕文本生成和嵌入模型的常见功能的示例。

安装

pip install -U --quiet langchain-nvidia-ai-endpoints

设置

开始使用

  1. NVIDIA 上创建一个免费帐户,该帐户托管 NVIDIA AI Foundation 模型。

  2. 单击您选择的模型。

  3. 在“输入”下,选择“Python”选项卡,然后单击 获取 API 密钥。然后单击 生成密钥

  4. 复制生成的密钥并将其另存为 NVIDIA_API_KEY。从那里,您应该可以访问端点。

import getpass
import os

if not os.environ.get("NVIDIA_API_KEY", "").startswith("nvapi-"):
nvidia_api_key = getpass.getpass("Enter your NVIDIA API key: ")
assert nvidia_api_key.startswith("nvapi-"), f"{nvidia_api_key[:5]}... is not a valid key"
os.environ["NVIDIA_API_KEY"] = nvidia_api_key

使用 NVIDIA API 目录

from langchain_nvidia_ai_endpoints import ChatNVIDIA

llm = ChatNVIDIA(model="mistralai/mixtral-8x22b-instruct-v0.1")
result = llm.invoke("Write a ballad about LangChain.")
print(result.content)
API 参考:ChatNVIDIA

使用 API,您可以查询 NVIDIA API 目录上的实时端点,以从 DGX 托管的云计算环境中获得快速结果。所有模型都是源可访问的,可以使用 NVIDIA NIM(它是 NVIDIA AI Enterprise 的一部分)部署在您自己的计算集群上,如下一节使用 NVIDIA NIM中所示。

使用 NVIDIA NIM

准备部署时,您可以使用 NVIDIA NIM(包含在 NVIDIA AI Enterprise 软件许可证中)自托管模型,并在任何地方运行它们,从而使您拥有自定义的所有权以及对您的知识产权 (IP) 和 AI 应用程序的完全控制权。

了解有关 NIM 的更多信息

from langchain_nvidia_ai_endpoints import ChatNVIDIA, NVIDIAEmbeddings, NVIDIARerank

# connect to a chat NIM running at localhost:8000, specifying a model
llm = ChatNVIDIA(base_url="https://127.0.0.1:8000/v1", model="meta/llama3-8b-instruct")

# connect to an embedding NIM running at localhost:8080
embedder = NVIDIAEmbeddings(base_url="https://127.0.0.1:8080/v1")

# connect to a reranking NIM running at localhost:2016
ranker = NVIDIARerank(base_url="https://127.0.0.1:2016/v1")

使用 NVIDIA AI Foundation 端点

LangChain 直接支持精选的 NVIDIA AI Foundation 模型,并提供熟悉的 API。

可以在 API 目录中找到支持的活动模型。

以下是一些可能有用的示例,可帮助您入门


此页面是否对您有帮助?