OCI 数据科学模型部署端点
OCI 数据科学 是一个完全托管且无服务器的平台，供数据科学团队在 Oracle Cloud Infrastructure 中构建、训练和管理机器学习模型。
此笔记本介绍了如何在OCI 数据科学模型部署上托管的 LLM 上使用 LLM。
要进行身份验证，oracle-ads 已用于自动加载用于调用端点的凭据。
!pip3 install oracle-ads
先决条件
部署模型
查看Oracle GitHub 示例存储库，了解如何在 OCI 数据科学模型部署上部署您的 llm。
策略
确保拥有访问 OCI 数据科学模型部署端点所需的策略。
设置
vLLM
部署模型后，您必须设置以下 OCIModelDeploymentVLLM 调用的必需参数
endpoint：已部署模型的模型 HTTP 端点，例如https://<MD_OCID>/predict。model：模型的位置。
文本生成推理 (TGI)
您必须设置以下 OCIModelDeploymentTGI 调用的必需参数
endpoint：已部署模型的模型 HTTP 端点，例如https://<MD_OCID>/predict。
身份验证
您可以通过 ads 或环境变量设置身份验证。当您在 OCI 数据科学笔记本会话中工作时，您可以利用资源主体访问其他 OCI 资源。查看此处以查看更多选项。
示例
import ads
from langchain_community.llms import OCIModelDeploymentVLLM
# Set authentication through ads
# Use resource principal are operating within a
# OCI service that has resource principal based
# authentication configured
ads.set_auth("resource_principal")
# Create an instance of OCI Model Deployment Endpoint
# Replace the endpoint uri and model name with your own
llm = OCIModelDeploymentVLLM(endpoint="https://<MD_OCID>/predict", model="model_name")
# Run the LLM
llm.invoke("Who is the first president of United States?")
API 参考：OCIModelDeploymentVLLM
import os
from langchain_community.llms import OCIModelDeploymentTGI
# Set authentication through environment variables
# Use API Key setup when you are working from a local
# workstation or on platform which does not support
# resource principals.
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"
# Set endpoint through environment variables
# Replace the endpoint uri with your own
os.environ["OCI_LLM_ENDPOINT"] = "https://<MD_OCID>/predict"
# Create an instance of OCI Model Deployment Endpoint
llm = OCIModelDeploymentTGI()
# Run the LLM
llm.invoke("Who is the first president of United States?")
API 参考：OCIModelDeploymentTGI