花瓣
Petals 在本地运行 100B+ 语言模型，采用 BitTorrent 样式。
此笔记本介绍了如何将 Langchain 与Petals 一起使用。
安装 petals
petals 包是使用 Petals API 所必需的。使用 pip3 install petals 安装 petals。
对于 Apple Silicon（M1/M2）用户，请按照此指南https://github.com/bigscience-workshop/petals/issues/147#issuecomment-1365379642安装 petals
!pip3 install petals
导入
import os
from langchain.chains import LLMChain
from langchain_community.llms import Petals
from langchain_core.prompts import PromptTemplate
设置环境 API 密钥
请务必从 Huggingface 获取您的 API 密钥。
from getpass import getpass
HUGGINGFACE_API_KEY = getpass()
········
os.environ["HUGGINGFACE_API_KEY"] = HUGGINGFACE_API_KEY
创建 Petals 实例
您可以指定不同的参数，例如模型名称、最大新标记、温度等。
# this can take several minutes to download big files!
llm = Petals(model_name="bigscience/bloom-petals")
Downloading: 1%|▏ | 40.8M/7.19G [00:24<15:44, 7.57MB/s]
创建提示模板
我们将为问答创建一个提示模板。
template = """Question: {question}
Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
初始化 LLMChain
llm_chain = LLMChain(prompt=prompt, llm=llm)
运行 LLMChain
提供一个问题并运行 LLMChain。
question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"
llm_chain.run(question)