跳到主要内容
Open In ColabOpen on GitHub

ChatOCIGenAI

本笔记本快速概述了如何开始使用 OCIGenAI 聊天模型。有关所有 ChatOCIGenAI 功能和配置的详细文档，请访问 API 参考。

Oracle Cloud Infrastructure (OCI) Generative AI 是一项完全托管的服务，提供一套最先进的、可定制的大型语言模型 (LLM)，涵盖广泛的用例，并通过单个 API 提供。使用 OCI Generative AI 服务，您可以访问即用型预训练模型，或者根据您自己的数据在专用 AI 集群上创建和托管您自己微调的自定义模型。有关该服务和 API 的详细文档，请访问 此处 和 此处。

概述​

集成详情​

类包本地可序列化JS 支持
ChatOCIGenAIlangchain-community❌❌❌

模型功能​

工具调用结构化输出JSON 模式图像输入音频输入视频输入令牌级流式传输原生异步令牌使用量Logprobs
✅✅✅✅❌❌✅❌❌❌

设置​

要访问 OCIGenAI 模型，您需要安装 oci 和 langchain-community 包。

凭据​

此集成支持的凭据和身份验证方法与其他 OCI 服务使用的方法相同，并遵循 标准 SDK 身份验证 方法，特别是 API 密钥、会话令牌、实例主体和资源主体。

API 密钥是上述示例中使用的默认身份验证方法。以下示例演示如何使用不同的身份验证方法（会话令牌）

安装​

LangChain OCIGenAI 集成位于 langchain-community 包中，您还需要安装 oci 包

%pip install -qU langchain-community oci

实例化​

现在我们可以实例化我们的模型对象并生成聊天完成

from langchain_community.chat_models.oci_generative_ai import ChatOCIGenAI
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage

chat = ChatOCIGenAI(
    model_id="cohere.command-r-16k",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
    model_kwargs={"temperature": 0.7, "max_tokens": 500},
)

调用​

messages = [
    SystemMessage(content="your are an AI assistant."),
    AIMessage(content="Hi there human!"),
    HumanMessage(content="tell me a joke."),
]
response = chat.invoke(messages)
print(response.content)

链接​

我们可以像这样使用提示模板链接我们的模型

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_template("Tell me a joke about {topic}")
chain = prompt | chat

response = chain.invoke({"topic": "dogs"})
print(response.content)
API 参考：ChatPromptTemplate

API 参考​

有关所有 ChatOCIGenAI 功能和配置的详细文档，请访问 API 参考： https://python.langchain.ac.cn/api_reference/community/chat_models/langchain_community.chat_models.oci_generative_ai.ChatOCIGenAI.html

此页是否对您有帮助？