Oracle Cloud Infrastructure 生成式 AI

Oracle Cloud Infrastructure (OCI) 生成式 AI 是一项完全托管的服务，提供一组最先进的、可自定义的大型语言模型 (LLM)，涵盖各种用例，并可通过单个 API 使用。使用 OCI 生成式 AI 服务，您可以访问现成的预训练模型，或基于您自己的数据在专用 AI 集群上创建和托管您自己的微调自定义模型。服务的详细文档和 API 可在此处和此处找到。

此笔记本解释了如何将 OCI 的生成式 AI 模型与 LangChain 结合使用。

先决条件

我们需要安装 oci sdk

!pip install -U oci

OCI 生成式 AI API 端点

https://inference.generativeai.us-chicago-1.oci.oraclecloud.com

身份验证

此 langchain 集成支持的身份验证方法为

1. API 密钥
2. 会话令牌
3. 实例主体
4. 资源主体

这些遵循此处详细介绍的标准 SDK 身份验证方法此处。

用法

from langchain_community.embeddings import OCIGenAIEmbeddings

# use default authN method API-key
embeddings = OCIGenAIEmbeddings(
    model_id="MY_EMBEDDING_MODEL",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
)


query = "This is a query in English."
response = embeddings.embed_query(query)
print(response)

documents = ["This is a sample document", "and here is another one"]
response = embeddings.embed_documents(documents)
print(response)

API 参考：OCIGenAIEmbeddings

# Use Session Token to authN
embeddings = OCIGenAIEmbeddings(
    model_id="MY_EMBEDDING_MODEL",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
    auth_type="SECURITY_TOKEN",
    auth_profile="MY_PROFILE",  # replace with your profile name
)


query = "This is a sample query"
response = embeddings.embed_query(query)
print(response)

documents = ["This is a sample document", "and here is another one"]
response = embeddings.embed_documents(documents)
print(response)

相关

• 嵌入模型 概念指南
• 嵌入模型 操作指南