PipelineAI
PipelineAI 允许您在云端大规模运行机器学习模型。它还提供对多个大型语言模型(LLM)的 API 访问。
本笔记将介绍如何在 PipelineAI 中使用 Langchain。
PipelineAI 示例
此示例展示了 PipelineAI 如何与 LangChain 集成,并由 PipelineAI 创建。
设置
使用 PipelineAI
API(又称 Pipeline Cloud
)需要 pipeline-ai
库。通过 pip install pipeline-ai
安装 pipeline-ai
。
# Install the package
%pip install --upgrade --quiet pipeline-ai
示例
导入
import os
from langchain_community.llms import PipelineAI
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate
设置环境变量 API 密钥
请确保从 PipelineAI 获取您的 API 密钥。查阅云快速入门指南。您将获得 30 天免费试用,以及 10 小时无服务器 GPU 计算时间,用于测试不同模型。
os.environ["PIPELINE_API_KEY"] = "YOUR_API_KEY_HERE"
创建 PipelineAI 实例
实例化 PipelineAI 时,您需要指定要使用的管道的 ID 或标签,例如 pipeline_key = "public/gpt-j:base"
。然后您可以选择传递额外的特定于管道的关键字参数
llm = PipelineAI(pipeline_key="YOUR_PIPELINE_KEY", pipeline_kwargs={...})
创建提示模板
我们将创建一个用于问答的提示模板。
template = """Question: {question}
Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
初始化 LLMChain
llm_chain = prompt | llm | StrOutputParser()
运行 LLMChain
提供一个问题并运行 LLMChain。
question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"
llm_chain.invoke(question)