跳到主要内容
Open In ColabOpen on GitHub

PipelineAI

PipelineAI 允许您在云端大规模运行机器学习模型。它还提供对多个大型语言模型(LLM)的 API 访问。

本笔记将介绍如何在 PipelineAI 中使用 Langchain。

PipelineAI 示例

此示例展示了 PipelineAI 如何与 LangChain 集成,并由 PipelineAI 创建。

设置

使用 PipelineAI API(又称 Pipeline Cloud)需要 pipeline-ai 库。通过 pip install pipeline-ai 安装 pipeline-ai

# Install the package
%pip install --upgrade --quiet pipeline-ai

示例

导入

import os

from langchain_community.llms import PipelineAI
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate

设置环境变量 API 密钥

请确保从 PipelineAI 获取您的 API 密钥。查阅云快速入门指南。您将获得 30 天免费试用,以及 10 小时无服务器 GPU 计算时间,用于测试不同模型。

os.environ["PIPELINE_API_KEY"] = "YOUR_API_KEY_HERE"

创建 PipelineAI 实例

实例化 PipelineAI 时,您需要指定要使用的管道的 ID 或标签,例如 pipeline_key = "public/gpt-j:base"。然后您可以选择传递额外的特定于管道的关键字参数

llm = PipelineAI(pipeline_key="YOUR_PIPELINE_KEY", pipeline_kwargs={...})

创建提示模板

我们将创建一个用于问答的提示模板。

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

初始化 LLMChain

llm_chain = prompt | llm | StrOutputParser()

运行 LLMChain

提供一个问题并运行 LLMChain。

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"

llm_chain.invoke(question)