跳到主要内容

OctoAI

OctoAI 提供对高效计算的便捷访问，并允许用户将他们选择的 AI 模型集成到应用程序中。OctoAI 计算服务可帮助您轻松运行、调整和扩展 AI 应用程序。

此示例介绍如何使用 LangChain 与 OctoAI LLM 端点进行交互

设置​

要运行我们的示例应用，需要执行两个简单步骤

  1. 从 您的 OctoAI 帐户页面获取 API 令牌。

  2. 将您的 API 密钥粘贴到下面的代码单元格中。

注意：如果要使用不同的 LLM 模型，您可以容器化该模型并自己创建自定义 OctoAI 端点，请按照 从 Python 构建容器 和 从容器创建自定义端点 的说明操作，然后更新您的 OCTOAI_API_BASE 环境变量。

import os

os.environ["OCTOAI_API_TOKEN"] = "OCTOAI_API_TOKEN"
from langchain.chains import LLMChain
from langchain_community.llms.octoai_endpoint import OctoAIEndpoint
from langchain_core.prompts import PromptTemplate

示例​

template = """Below is an instruction that describes a task. Write a response that appropriately completes the request.\n Instruction:\n{question}\n Response: """
prompt = PromptTemplate.from_template(template)
llm = OctoAIEndpoint(
    model_name="llama-2-13b-chat-fp16",
    max_tokens=200,
    presence_penalty=0,
    temperature=0.1,
    top_p=0.9,
)
question = "Who was Leonardo da Vinci?"

chain = prompt | llm

print(chain.invoke(question))

列奥纳多·达·芬奇是一位真正的文艺复兴时期的人。他于 1452 年出生于意大利的芬奇，以其在包括艺术、科学、工程和数学在内的各个领域的工作而闻名。他被认为是史上最伟大的画家之一，他最著名的作品包括《蒙娜丽莎》和《最后的晚餐》。除了他的艺术作品外，达·芬奇还为工程和解剖学做出了重大贡献，他的机器和发明设计比他的时代超前了几个世纪。他还以其大量的日记和绘画而闻名，这些日记和绘画为他的思想和观点提供了宝贵的见解。达·芬奇的遗产至今仍在激励和影响着世界各地的艺术家、科学家和思想家。

此页面是否对您有帮助？