ChatOCIGenAI
此笔记本提供了有关如何开始使用 OCIGenAI 的快速概述 聊天模型。有关所有 ChatOCIGenAI 功能和配置的详细文档，请访问 API 参考.
Oracle 云基础设施 (OCI) 生成式 AI 是一款完全托管的服务，它提供了一套最先进的、可自定义的大型语言模型 (LLM)，涵盖各种用例，并通过单个 API 提供。使用 OCI 生成式 AI 服务，您可以访问现成的预训练模型，或根据您自己的数据创建和托管自己的微调自定义模型，这些模型基于专用的 AI 集群。服务的详细文档和 API 可在此处获得 **此处** 和 **此处**。
概述
集成详细信息
| 类 (Class) | 包 (Package) | 本地 (Local) | 可序列化 (Serializable) | JS 支持 (JS support) | 包下载 (Package downloads) | 包最新 (Package latest) |
|---|---|---|---|---|---|---|
| ChatOCIGenAI | langchain-community | ❌ | ❌ | ❌ |  |  |
模型功能
| 工具调用 (Tool calling) | 结构化输出 (Structured output) | JSON 模式 (JSON mode) | 图像输入 (Image input) | 音频输入 (Audio input) | 视频输入 (Video input) | 令牌级流 (Token-level streaming) | 原生异步 (Native async) | 令牌使用 (Token usage) | Logprobs |
|---|---|---|---|---|---|---|---|---|---|
| ✅ | ✅ | ❌ | ❌ | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ |
设置
要访问 OCIGenAI 模型，您需要安装 oci 和 langchain-community 包。
凭据
此集成支持的凭据和身份验证方法等同于与其他 OCI 服务一起使用的凭据和身份验证方法，并遵循 **标准 SDK 身份验证** 方法，特别是 API 密钥、会话令牌、实例主体和资源主体。
API 密钥是上述示例中使用的默认身份验证方法。以下示例演示了如何使用不同的身份验证方法（会话令牌）
安装
LangChain OCIGenAI 集成位于 langchain-community 包中，您还需要安装 oci 包
%pip install -qU langchain-community oci
实例化
现在我们可以实例化我们的模型对象并生成聊天完成
from langchain_community.chat_models.oci_generative_ai import ChatOCIGenAI
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
chat = ChatOCIGenAI(
model_id="cohere.command-r-16k",
service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
compartment_id="MY_OCID",
model_kwargs={"temperature": 0.7, "max_tokens": 500},
)
调用
messages = [
SystemMessage(content="your are an AI assistant."),
AIMessage(content="Hi there human!"),
HumanMessage(content="tell me a joke."),
]
response = chat.invoke(messages)
print(response.content)
链接
我们可以 链接 我们的模型与一个提示模板，如下所示
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_template("Tell me a joke about {topic}")
chain = prompt | chat
response = chain.invoke({"topic": "dogs"})
print(response.content)
API 参考：ChatPromptTemplate
API 参考
有关所有 ChatOCIGenAI 功能和配置的详细文档，请访问 API 参考： https://python.langchain.ac.cn/api_reference/community/chat_models/langchain_community.chat_models.oci_generative_ai.ChatOCIGenAI.html