ChatOCIModelDeployment

这将帮助您开始使用 OCIModelDeployment 聊天模型。有关所有 ChatOCIModelDeployment 功能和配置的详细文档，请访问 API 参考。

OCI Data Science 是一个完全托管的无服务器平台，供数据科学团队在 Oracle Cloud Infrastructure 中构建、训练和管理机器学习模型。您可以使用 AI Quick Actions 在 OCI Data Science Model Deployment Service 上轻松部署 LLM。您可以选择使用流行的推理框架（如 vLLM 或 TGI）部署模型。默认情况下，模型部署端点模仿 OpenAI API 协议。

有关最新的更新、示例和实验性功能，请参阅 ADS LangChain 集成。

概述

集成详情

类	包	本地	可序列化	JS 支持	包下载量	最新包
ChatOCIModelDeployment	langchain-community	❌	beta	❌

模型功能

工具调用	结构化输出	JSON 模式	图像输入	音频输入	视频输入	令牌级流式传输	原生异步	令牌使用量	Logprobs
取决于	取决于	取决于	取决于	取决于	取决于	✅	✅	✅	✅

一些模型功能，包括工具调用、结构化输出、JSON 模式和多模态输入，取决于已部署的模型。

设置

要使用 ChatOCIModelDeployment，您需要部署一个具有聊天完成端点的聊天模型，并安装 langchain-community、langchain-openai 和 oracle-ads 集成包。

您可以使用 OCI Data Science 模型部署上的 AI Quick Actions 轻松部署基础模型。有关其他部署示例，请访问 Oracle GitHub 示例存储库。

策略

确保拥有访问 OCI Data Science Model Deployment 端点所需的策略。

凭据

您可以通过 Oracle ADS 设置身份验证。当您在 OCI Data Science Notebook Session 中工作时，您可以利用资源主体来访问其他 OCI 资源。

import ads

# Set authentication through ads
# Use resource principal are operating within a
# OCI service that has resource principal based
# authentication configured
ads.set_auth("resource_principal")

或者，您可以使用以下环境变量配置凭据。例如，要使用带有特定配置文件的 API 密钥

import os

# Set authentication through environment variables
# Use API Key setup when you are working from a local
# workstation or on platform which does not support
# resource principals.
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"

查看 Oracle ADS 文档以查看更多选项。

安装

LangChain OCIModelDeployment 集成位于 langchain-community 包中。以下命令将安装 langchain-community 和所需的依赖项。

%pip install -qU langchain-community langchain-openai oracle-ads

实例化

您可以使用通用 ChatOCIModelDeployment 或特定于框架的类（如 ChatOCIModelDeploymentVLLM）实例化模型。

当您需要用于部署模型的通用入口点时，请使用 ChatOCIModelDeployment。您可以在实例化此类期间通过 model_kwargs 传递模型参数。这样可以实现灵活性和易于配置，而无需依赖于特定于框架的详细信息。

from langchain_community.chat_models import ChatOCIModelDeployment

# Create an instance of OCI Model Deployment Endpoint
# Replace the endpoint uri with your own
# Using generic class as entry point, you will be able
# to pass model parameters through model_kwargs during
# instantiation.
chat = ChatOCIModelDeployment(
    endpoint="https://modeldeployment.<region>.oci.customer-oci.com/<ocid>/predict",
    streaming=True,
    max_retries=1,
    model_kwargs={
        "temperature": 0.2,
        "max_tokens": 512,
    },  # other model params...
    default_headers={
        "route": "/v1/chat/completions",
        # other request headers ...
    },
)

API 参考：ChatOCIModelDeployment

使用特定于框架的类，如 ChatOCIModelDeploymentVLLM：当您使用特定框架（例如 vLLM）并且需要直接通过构造函数传递模型参数以简化设置过程时，这非常适用。

from langchain_community.chat_models import ChatOCIModelDeploymentVLLM

# Create an instance of OCI Model Deployment Endpoint
# Replace the endpoint uri with your own
# Using framework specific class as entry point, you will
# be able to pass model parameters in constructor.
chat = ChatOCIModelDeploymentVLLM(
    endpoint="https://modeldeployment.<region>.oci.customer-oci.com/<md_ocid>/predict",
)

API 参考：ChatOCIModelDeploymentVLLM

调用

messages = [
    (
        "system",
        "You are a helpful assistant that translates English to French. Translate the user sentence.",
    ),
    ("human", "I love programming."),
]

ai_msg = chat.invoke(messages)
ai_msg

AIMessage(content="J'adore programmer.", response_metadata={'token_usage': {'prompt_tokens': 44, 'total_tokens': 52, 'completion_tokens': 8}, 'model_name': 'odsc-llm', 'system_fingerprint': '', 'finish_reason': 'stop'}, id='run-ca145168-efa9-414c-9dd1-21d10766fdd3-0')

print(ai_msg.content)


J'adore programmer.

链接

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "You are a helpful assistant that translates {input_language} to {output_language}.",
        ),
        ("human", "{input}"),
    ]
)

chain = prompt | chat
chain.invoke(
    {
        "input_language": "English",
        "output_language": "German",
        "input": "I love programming.",
    }
)

API 参考：ChatPromptTemplate

AIMessage(content='Ich liebe Programmierung.', response_metadata={'token_usage': {'prompt_tokens': 38, 'total_tokens': 48, 'completion_tokens': 10}, 'model_name': 'odsc-llm', 'system_fingerprint': '', 'finish_reason': 'stop'}, id='run-5dd936b0-b97e-490e-9869-2ad3dd524234-0')

异步调用

from langchain_community.chat_models import ChatOCIModelDeployment

system = "You are a helpful translator that translates {input_language} to {output_language}."
human = "{text}"
prompt = ChatPromptTemplate.from_messages([("system", system), ("human", human)])

chat = ChatOCIModelDeployment(
    endpoint="https://modeldeployment.us-ashburn-1.oci.customer-oci.com/<ocid>/predict"
)
chain = prompt | chat

await chain.ainvoke(
    {
        "input_language": "English",
        "output_language": "Chinese",
        "text": "I love programming",
    }
)

API 参考：ChatOCIModelDeployment

AIMessage(content='我喜欢编程', response_metadata={'token_usage': {'prompt_tokens': 37, 'total_tokens': 50, 'completion_tokens': 13}, 'model_name': 'odsc-llm', 'system_fingerprint': '', 'finish_reason': 'stop'}, id='run-a2dc9393-f269-41a4-b908-b1d8a92cf827-0')

流式传输调用

import os
import sys

from langchain_community.chat_models import ChatOCIModelDeployment
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages(
    [("human", "List out the 5 states in the United State.")]
)

chat = ChatOCIModelDeployment(
    endpoint="https://modeldeployment.us-ashburn-1.oci.customer-oci.com/<ocid>/predict"
)

chain = prompt | chat

for chunk in chain.stream({}):
    sys.stdout.write(chunk.content)
    sys.stdout.flush()

API 参考：ChatOCIModelDeployment | ChatPromptTemplate

California
Texas
Florida
New York
Illinois

结构化输出

from langchain_community.chat_models import ChatOCIModelDeployment
from pydantic import BaseModel


class Joke(BaseModel):
    """A setup to a joke and the punchline."""

    setup: str
    punchline: str


chat = ChatOCIModelDeployment(
    endpoint="https://modeldeployment.us-ashburn-1.oci.customer-oci.com/<ocid>/predict",
)
structured_llm = chat.with_structured_output(Joke, method="json_mode")
output = structured_llm.invoke(
    "Tell me a joke about cats, respond in JSON with `setup` and `punchline` keys"
)

output.dict()

API 参考：ChatOCIModelDeployment

{'setup': 'Why did the cat get stuck in the tree?',
 'punchline': 'Because it was chasing its tail!'}

API 参考

有关所有功能和配置的全面详细信息，请参阅每个类的 API 参考文档

聊天模型概念指南
聊天模型操作指南

概述​

集成详情​

模型功能​

设置​

策略​

凭据​

安装​

实例化​

调用​

链接​

异步调用​

流式传输调用​

结构化输出​

API 参考​

相关​

此页是否对您有帮助？

概述

集成详情

模型功能

设置

策略

凭据

安装

实例化

调用

链接

异步调用

流式传输调用

结构化输出

API 参考

相关