OctoAI

OctoAI 提供对高效计算的轻松访问，并使用户能够将其选择的 AI 模型集成到应用程序中。OctoAI 计算服务可帮助您轻松运行、调整和扩展 AI 应用程序。

此示例介绍了如何使用 LangChain 与OctoAI LLM 端点 进行交互

设置

要运行我们的示例应用程序，需要执行两个简单的步骤

1. 从您的 OctoAI 帐户页面获取 API 令牌。

2. 将您的 API 密钥粘贴到下面的代码单元格中。

注意：如果您想使用其他 LLM 模型，您可以将模型容器化并自行创建自定义 OctoAI 端点，方法是按照从 Python 构建容器和从容器创建自定义端点，然后更新您的OCTOAI_API_BASE环境变量。

import os

os.environ["OCTOAI_API_TOKEN"] = "OCTOAI_API_TOKEN"

from langchain.chains import LLMChain
from langchain_community.llms.octoai_endpoint import OctoAIEndpoint
from langchain_core.prompts import PromptTemplate

API 参考：LLMChain | OctoAIEndpoint | PromptTemplate

示例

template = """Below is an instruction that describes a task. Write a response that appropriately completes the request.\n Instruction:\n{question}\n Response: """
prompt = PromptTemplate.from_template(template)

llm = OctoAIEndpoint(
    model_name="llama-2-13b-chat-fp16",
    max_tokens=200,
    presence_penalty=0,
    temperature=0.1,
    top_p=0.9,
)

question = "Who was Leonardo da Vinci?"

chain = prompt | llm

print(chain.invoke(question))

莱昂纳多·达·芬奇是一位真正的文艺复兴时期的人物。他于 1452 年出生于意大利的芬奇，以其在艺术、科学、工程和数学等各个领域的成就而闻名。他被认为是有史以来最伟大的画家之一，其最著名的作品包括《蒙娜丽莎》和《最后的晚餐》。除了艺术成就外，达·芬奇还在工程和解剖学方面做出了重大贡献，其机器和发明的设计比他的时代超前了几个世纪。他还以其广泛的日记和图纸而闻名，这些日记和图纸为了解他的思想和理念提供了宝贵的见解。达·芬奇的遗产至今仍在激励和影响着世界各地的艺术家、科学家和思想家。

相关

• LLM 概念指南
• LLM 操作指南