跳至主要内容
Open on GitHub

NVIDIA

langchain-nvidia-ai-endpoints 包包含 LangChain 集成，用于构建在 NVIDIA NIM 推理微服务上使用模型的应用程序。NIM 支持来自社区以及 NVIDIA 的跨领域模型，如聊天、嵌入和重排序模型。这些模型由 NVIDIA 优化，可在 NVIDIA 加速基础设施上提供最佳性能，并作为 NIM 部署，NIM 是一种易于使用、预构建的容器，可以使用单个命令在 NVIDIA 加速基础设施上随处部署。

NIM 的 NVIDIA 托管部署可在 NVIDIA API 目录 上进行测试。测试后，可以使用 NVIDIA AI Enterprise 许可证从 NVIDIA 的 API 目录导出 NIM，并在本地或云端运行，使企业拥有其 IP 和 AI 应用程序的所有权和完全控制权。

NIM 以每个模型为基础打包为容器镜像，并通过 NVIDIA NGC Catalog 作为 NGC 容器镜像分发。NIM 的核心是为在 AI 模型上运行推理提供简单、一致和熟悉的 API。

以下是如何使用围绕文本生成和嵌入模型的一些常见功能的示例。

安装​

pip install -U --quiet langchain-nvidia-ai-endpoints

设置​

开始使用

  1. 在 NVIDIA 上创建一个免费帐户，该帐户托管 NVIDIA AI Foundation 模型。

  2. 点击您选择的模型。

  3. 在输入下选择 Python 选项卡，然后点击 获取 API 密钥。然后点击 生成密钥。

  4. 复制生成的密钥并将其保存为 NVIDIA_API_KEY。从那里，您应该可以访问端点。

import getpass
import os

if not os.environ.get("NVIDIA_API_KEY", "").startswith("nvapi-"):
    nvidia_api_key = getpass.getpass("Enter your NVIDIA API key: ")
    assert nvidia_api_key.startswith("nvapi-"), f"{nvidia_api_key[:5]}... is not a valid key"
    os.environ["NVIDIA_API_KEY"] = nvidia_api_key

使用 NVIDIA API 目录​

from langchain_nvidia_ai_endpoints import ChatNVIDIA

llm = ChatNVIDIA(model="mistralai/mixtral-8x22b-instruct-v0.1")
result = llm.invoke("Write a ballad about LangChain.")
print(result.content)
API 参考：ChatNVIDIA

使用 API，您可以查询 NVIDIA API Catalog 上提供的实时端点，以从 DGX 托管的云计算环境获得快速结果。所有模型都是源可访问的，可以使用 NVIDIA NIM 部署在您自己的计算集群上，NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，如下一节 使用 NVIDIA NIM 所示。

使用 NVIDIA NIM​

准备好部署时，您可以使用 NVIDIA NIM 自托管模型（NVIDIA NIM 包含在 NVIDIA AI Enterprise 软件许可证中），并在任何地方运行它们，让您拥有定制的所有权，并完全控制您的知识产权 (IP) 和 AI 应用程序。

了解有关 NIM 的更多信息

from langchain_nvidia_ai_endpoints import ChatNVIDIA, NVIDIAEmbeddings, NVIDIARerank

# connect to a chat NIM running at localhost:8000, specifying a model
llm = ChatNVIDIA(base_url="http://localhost:8000/v1", model="meta/llama3-8b-instruct")

# connect to an embedding NIM running at localhost:8080
embedder = NVIDIAEmbeddings(base_url="http://localhost:8080/v1")

# connect to a reranking NIM running at localhost:2016
ranker = NVIDIARerank(base_url="http://localhost:2016/v1")

使用 NVIDIA AI Foundation 端点​

LangChain 直接支持一系列 NVIDIA AI Foundation 模型，并提供熟悉的 API。

可以在 API 目录 中找到支持的活动模型。

以下是一些可能有用的示例，可帮助您入门

此页是否对您有帮助？