跳至主要内容

OCI 数据科学模型部署端点

OCI 数据科学 是一个完全托管的无服务器平台，供数据科学团队在 Oracle Cloud Infrastructure 上构建、训练和管理机器学习模型。

此笔记本介绍了如何使用托管在 OCI 数据科学模型部署 上的 LLM。

为了进行身份验证，oracle-ads 已被用来自动加载用于调用端点的凭据。

!pip3 install oracle-ads

先决条件​

部署模型​

查看 Oracle GitHub 示例存储库，了解如何在 OCI 数据科学模型部署上部署您的 llm。

策略​

确保拥有访问 OCI 数据科学模型部署端点所需的 策略。

设置​

vLLM​

在部署模型后，您需要设置以下 OCIModelDeploymentVLLM 调用的必需参数

  • endpoint：已部署模型的模型 HTTP 端点，例如 https://<MD_OCID>/predict。
  • model：模型的位置。

文本生成推理（TGI）​

您需要设置以下 OCIModelDeploymentTGI 调用的必需参数

  • endpoint：已部署模型的模型 HTTP 端点，例如 https://<MD_OCID>/predict。

身份验证​

您可以通过 ads 或环境变量设置身份验证。当您在 OCI 数据科学笔记本会话中工作时，您可以利用资源主体来访问其他 OCI 资源。查看 此处，以查看更多选项。

示例​

import ads
from langchain_community.llms import OCIModelDeploymentVLLM

# Set authentication through ads
# Use resource principal are operating within a
# OCI service that has resource principal based
# authentication configured
ads.set_auth("resource_principal")

# Create an instance of OCI Model Deployment Endpoint
# Replace the endpoint uri and model name with your own
llm = OCIModelDeploymentVLLM(endpoint="https://<MD_OCID>/predict", model="model_name")

# Run the LLM
llm.invoke("Who is the first president of United States?")
import os

from langchain_community.llms import OCIModelDeploymentTGI

# Set authentication through environment variables
# Use API Key setup when you are working from a local
# workstation or on platform which does not support
# resource principals.
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"

# Set endpoint through environment variables
# Replace the endpoint uri with your own
os.environ["OCI_LLM_ENDPOINT"] = "https://<MD_OCID>/predict"

# Create an instance of OCI Model Deployment Endpoint
llm = OCIModelDeploymentTGI()

# Run the LLM
llm.invoke("Who is the first president of United States?")

此页面是否有帮助？


您也可以在 GitHub 上留下详细的反馈 GitHub.