跳至主要内容

英伟达

这将帮助您开始使用 NVIDIA 模型。有关所有 NVIDIA 功能和配置的详细文档，请前往 API 参考.

概述​

langchain-nvidia-ai-endpoints 包含 LangChain 集成，用于使用 NVIDIA NIM 推理微服务上的模型构建应用程序。这些模型经过 NVIDIA 优化，可在 NVIDIA 加速的基础设施上提供最佳性能，并作为 NIM 部署，NIM 是易于使用、预构建的容器，可使用 NVIDIA 加速的基础设施上的单个命令在任何地方部署。

NIM 的 NVIDIA 托管部署可供在 NVIDIA API 目录 上进行测试。测试后，可以使用 NVIDIA AI Enterprise 许可证从 NVIDIA 的 API 目录导出 NIM，并在本地或云中运行，使企业拥有其 IP 和 AI 应用程序并完全控制其 IP 和 AI 应用程序。

NIM 以每个模型为基础打包为容器镜像，并作为 NGC 容器镜像通过 NVIDIA NGC 目录分发。NIM 的核心是提供简单、一致且熟悉的 API，用于在 AI 模型上运行推理。

本示例介绍如何使用 LangChain 与 NVIDIA 支持的模型进行交互，方法是使用 NVIDIA 类。

有关通过此 API 访问 LLM 模型的更多信息，请查看 NVIDIA 文档。

集成详细信息​

类包本地可序列化JS 支持包下载包最新
英伟达langchain_nvidia_ai_endpoints✅beta❌PyPI - DownloadsPyPI - Version

模型功能​

JSON 模式图像输入音频输入视频输入令牌级流原生异步令牌使用情况Logprobs
❌✅❌❌✅❌❌❌

设置​

开始

  1. 在 NVIDIA（托管 NVIDIA AI 基础模型）上创建一个免费帐户。

  2. 点击您选择的模型。

  3. 在 Input 下选择 Python 选项卡，然后点击 Get API Key。然后点击 Generate Key。

  4. 复制并保存生成的密钥为 NVIDIA_API_KEY。从那里，您应该可以访问端点。

凭据​

import getpass
import os

if not os.getenv("NVIDIA_API_KEY"):
    # Note: the API key should start with "nvapi-"
    os.environ["NVIDIA_API_KEY"] = getpass.getpass("Enter your NVIDIA API key: ")

安装​

LangChain NVIDIA AI 端点集成位于 langchain_nvidia_ai_endpoints 包中

%pip install --upgrade --quiet langchain-nvidia-ai-endpoints

实例化​

查看 LLM 以了解完整功能。

from langchain_nvidia_ai_endpoints import NVIDIA
llm = NVIDIA().bind(max_tokens=256)
llm

调用​

prompt = "# Function that does quicksort written in Rust without comments:"
print(llm.invoke(prompt))

流、批处理和异步​

这些模型原生支持流，并且与所有 LangChain LLM 一样，它们公开了一个批处理方法来处理并发请求，以及用于调用、流和批处理的异步方法。以下是几个示例。

for chunk in llm.stream(prompt):
    print(chunk, end="", flush=True)
llm.batch([prompt])
await llm.ainvoke(prompt)
async for chunk in llm.astream(prompt):
    print(chunk, end="", flush=True)
await llm.abatch([prompt])
async for chunk in llm.astream_log(prompt):
    print(chunk)
response = llm.invoke(
    "X_train, y_train, X_test, y_test = train_test_split(X, y, test_size=0.1) #Train a logistic regression model, predict the labels on the test set and compute the accuracy score"
)
print(response)

支持的模型​

查询 available_models 仍然会提供您的 API 凭据提供的其他所有模型。

NVIDIA.get_available_models()
# llm.get_available_models()

链接​

我们可以 链接 我们的模型和提示模板，如下所示

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate(
    [
        (
            "system",
            "You are a helpful assistant that translates {input_language} to {output_language}.",
        ),
        ("human", "{input}"),
    ]
)

chain = prompt | llm
chain.invoke(
    {
        "input_language": "English",
        "output_language": "German",
        "input": "I love programming.",
    }
)
API 参考：ChatPromptTemplate

API 参考​

有关所有 NVIDIA 功能和配置的详细文档，请前往 API 参考：https://python.langchain.ac.cn/api_reference/nvidia_ai_endpoints/llms/langchain_nvidia_ai_endpoints.llms.NVIDIA.html

此页面是否有用？


您也可以在 GitHub 上留下详细的反馈 GitHub.