OctoAI
OctoAI 提供高效计算的便捷访问,使用户能够将所选的 AI 模型集成到应用程序中。`OctoAI` 计算服务可帮助您轻松运行、调整和扩展 AI 应用程序。
本示例将介绍如何使用 LangChain 与 `OctoAI` LLM 端点进行交互。
设置
要运行我们的示例应用程序,需要执行两个简单步骤:
-
从您的 OctoAI 账户页面获取 API 令牌。
-
将您的 API 密钥粘贴到下面的代码单元格中。
注意:如果您想使用不同的 LLM 模型,可以按照“从 Python 构建容器”和“从容器创建自定义端点”的说明,自行将模型容器化并创建自定义 OctoAI 端点,然后更新您的 `OCTOAI_API_BASE` 环境变量。
import os
os.environ["OCTOAI_API_TOKEN"] = "OCTOAI_API_TOKEN"
from langchain.chains import LLMChain
from langchain_community.llms.octoai_endpoint import OctoAIEndpoint
from langchain_core.prompts import PromptTemplate
示例
template = """Below is an instruction that describes a task. Write a response that appropriately completes the request.\n Instruction:\n{question}\n Response: """
prompt = PromptTemplate.from_template(template)
llm = OctoAIEndpoint(
model_name="llama-2-13b-chat-fp16",
max_tokens=200,
presence_penalty=0,
temperature=0.1,
top_p=0.9,
)
question = "Who was Leonardo da Vinci?"
chain = prompt | llm
print(chain.invoke(question))
列奥纳多·达·芬奇是一位真正的文艺复兴时期全才。他于 1452 年出生于意大利芬奇,以其在艺术、科学、工程和数学等多个领域的工作而闻名。他被认为是史上最伟大的画家之一,其最著名的作品包括《蒙娜丽莎》和《最后的晚餐》。除了艺术,达·芬奇在工程学和解剖学方面也做出了重大贡献,他对机器和发明的设计超前于他的时代几个世纪。他还以其大量的日记和绘画而闻名,这些提供了对其思想和观念的宝贵见解。达·芬奇的遗产至今仍在世界范围内激励和影响着艺术家、科学家和思想家。