Flyte
Flyte 是一个开源编排器，有助于构建生产级数据和 ML 管道。它专为可扩展性和可重现性而构建，利用 Kubernetes 作为其底层平台。
本笔记本的目的是演示如何将 FlyteCallback 集成到您的 Flyte 任务中，从而使您能够有效地监控和跟踪您的 LangChain 实验。
安装和设置
- 运行命令
pip install flytekit安装 Flytekit 库。 - 运行命令
pip install flytekitplugins-envd安装 Flytekit-Envd 插件。 - 运行命令
pip install langchain安装 LangChain。 - 在您的系统上安装 Docker。
Flyte 任务
Flyte 任务是 Flyte 的基本构建块。要执行 LangChain 实验，您需要编写定义所涉及的特定步骤和操作的 Flyte 任务。
注意：入门指南提供了有关在本地安装 Flyte 和运行您的初始 Flyte 管道的详细分步说明。
首先，导入必要的依赖项以支持您的 LangChain 实验。
import os
from flytekit import ImageSpec, task
from langchain.agents import AgentType, initialize_agent, load_tools
from langchain.callbacks import FlyteCallbackHandler
from langchain.chains import LLMChain
from langchain_openai import ChatOpenAI
from langchain_core.prompts import PromptTemplate
from langchain_core.messages import HumanMessage
设置必要的环境变量以使用 OpenAI API 和 Serp API
# Set OpenAI API key
os.environ["OPENAI_API_KEY"] = "<your_openai_api_key>"
# Set Serp API key
os.environ["SERPAPI_API_KEY"] = "<your_serp_api_key>"
将 <your_openai_api_key> 和 <your_serp_api_key> 替换为您分别从 OpenAI 和 Serp API 获取的 API 密钥。
为了保证管道的可重现性，Flyte 任务是容器化的。每个 Flyte 任务都必须与一个镜像关联，该镜像可以在整个 Flyte 工作流中共享，也可以为每个任务单独提供。
为了简化为每个 Flyte 任务提供所需依赖项的过程，您可以初始化一个 ImageSpec 对象。这种方法会自动触发 Docker 构建，从而减少用户手动创建 Docker 镜像的需要。
custom_image = ImageSpec(
name="langchain-flyte",
packages=[
"langchain",
"openai",
"spacy",
"https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.5.0/en_core_web_sm-3.5.0.tar.gz",
"textstat",
"google-search-results",
],
registry="<your-registry>",
)
您可以灵活地将 Docker 镜像推送到您首选的注册表。Docker Hub 或 GitHub Container Registry (GHCR) 是一个方便的入门选项。
选择注册表后，您可以继续创建将 LangChain 指标记录到 Flyte Deck 的 Flyte 任务。
以下示例演示了与 OpenAI LLM、链和带有工具的代理相关的任务
LLM
@task(disable_deck=False, container_image=custom_image)
def langchain_llm() -> str:
llm = ChatOpenAI(
model_name="gpt-3.5-turbo",
temperature=0.2,
callbacks=[FlyteCallbackHandler()],
)
return llm.invoke([HumanMessage(content="Tell me a joke")]).content
链
@task(disable_deck=False, container_image=custom_image)
def langchain_chain() -> list[dict[str, str]]:
template = """You are a playwright. Given the title of play, it is your job to write a synopsis for that title.
Title: {title}
Playwright: This is a synopsis for the above play:"""
llm = ChatOpenAI(
model_name="gpt-3.5-turbo",
temperature=0,
callbacks=[FlyteCallbackHandler()],
)
prompt_template = PromptTemplate(input_variables=["title"], template=template)
synopsis_chain = LLMChain(
llm=llm, prompt=prompt_template, callbacks=[FlyteCallbackHandler()]
)
test_prompts = [
{
"title": "documentary about good video games that push the boundary of game design"
},
]
return synopsis_chain.apply(test_prompts)
代理
@task(disable_deck=False, container_image=custom_image)
def langchain_agent() -> str:
llm = OpenAI(
model_name="gpt-3.5-turbo",
temperature=0,
callbacks=[FlyteCallbackHandler()],
)
tools = load_tools(
["serpapi", "llm-math"], llm=llm, callbacks=[FlyteCallbackHandler()]
)
agent = initialize_agent(
tools,
llm,
agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
callbacks=[FlyteCallbackHandler()],
verbose=True,
)
return agent.run(
"Who is Leonardo DiCaprio's girlfriend? Could you calculate her current age and raise it to the power of 0.43?"
)
这些任务是您在 Flyte 中运行 LangChain 实验的起点。
在 Kubernetes 上执行 Flyte 任务
要在配置的 Flyte 后端上执行 Flyte 任务，请使用以下命令
pyflyte run --image <your-image> langchain_flyte.py langchain_llm
此命令将启动 Flyte 后端上 langchain_llm 任务的执行。您可以使用类似的方式触发剩余的两个任务。
指标将如下所示显示在 Flyte UI 上
