Label Studio
Label Studio 是一个开源数据标注平台,它为 LangChain 提供了在为大型语言模型(LLM)微调数据时所需的灵活性。它还支持准备自定义训练数据,并通过人工反馈来收集和评估响应。
在本指南中,您将学习如何将 LangChain 流水线连接到 Label Studio
,以实现以下功能:
- 将所有输入提示、对话和响应汇总到一个
Label Studio
项目中。这会将所有数据整合到一个地方,以便更轻松地进行标注和分析。 - 优化提示和响应,以创建用于监督微调(SFT)和带有人工反馈的强化学习(RLHF)场景的数据集。标注后的数据可用于进一步训练 LLM,以提高其性能。
- 通过人工反馈评估模型响应。
Label Studio
提供了一个界面,供人工审查模型响应并提供反馈,从而实现评估和迭代。
安装和设置
首先安装最新版本的 Label Studio 和 Label Studio API 客户端
%pip install --upgrade --quiet langchain label-studio label-studio-sdk langchain-openai langchain-community
接下来,在命令行运行 label-studio
以启动本地 LabelStudio 实例,地址为 https://:8080
。有关更多选项,请参阅Label Studio 安装指南。
您需要一个令牌才能进行 API 调用。
在浏览器中打开您的 LabelStudio 实例,前往 Account & Settings > Access Token
(账户与设置 > 访问令牌)并复制密钥。
设置包含您的 LabelStudio URL、API 密钥和 OpenAI API 密钥的环境变量
import os
os.environ["LABEL_STUDIO_URL"] = "<YOUR-LABEL-STUDIO-URL>" # e.g. https://:8080
os.environ["LABEL_STUDIO_API_KEY"] = "<YOUR-LABEL-STUDIO-API-KEY>"
os.environ["OPENAI_API_KEY"] = "<YOUR-OPENAI-API-KEY>"
收集 LLM 提示和响应
用于标注的数据存储在 Label Studio 中的项目中。每个项目都通过一个 XML 配置来标识,该配置详细说明了输入和输出数据的规范。
创建一个项目,该项目接受文本格式的人工输入,并在文本区域输出可编辑的 LLM 响应。
<View>
<Style>
.prompt-box {
background-color: white;
border-radius: 10px;
box-shadow: 0px 4px 6px rgba(0, 0, 0, 0.1);
padding: 20px;
}
</Style>
<View className="root">
<View className="prompt-box">
<Text name="prompt" value="$prompt"/>
</View>
<TextArea name="response" toName="prompt"
maxSubmissions="1" editable="true"
required="true"/>
</View>
<Header value="Rate the response:"/>
<Rating name="rating" toName="prompt"/>
</View>
- 要在 Label Studio 中创建项目,请点击“Create”(创建)按钮。
- 在“Project Name”(项目名称)字段中输入您的项目名称,例如
My Project
。 - 导航到
Labeling Setup > Custom Template
(标注设置 > 自定义模板)并粘贴上面提供的 XML 配置。
您可以通过 LabelStudioCallbackHandler
连接,在 LabelStudio 项目中收集 LLM 输入提示和输出响应。
from langchain_community.callbacks.labelstudio_callback import (
LabelStudioCallbackHandler,
)
from langchain_openai import OpenAI
llm = OpenAI(
temperature=0, callbacks=[LabelStudioCallbackHandler(project_name="My Project")]
)
print(llm.invoke("Tell me a joke"))
在 Label Studio 中,打开“My Project”。您将看到提示、响应以及模型名称等元数据。
收集聊天模型对话
您还可以在 LabelStudio 中跟踪和显示完整的聊天对话,并能够对最后一条响应进行评分和修改。
- 打开 Label Studio 并点击“Create”(创建)按钮。
- 在“Project Name”(项目名称)字段中输入您的项目名称,例如
New Project with Chat
。 - 导航到 Labeling Setup > Custom Template(标注设置 > 自定义模板)并粘贴以下 XML 配置。
<View>
<View className="root">
<Paragraphs name="dialogue"
value="$prompt"
layout="dialogue"
textKey="content"
nameKey="role"
granularity="sentence"/>
<Header value="Final response:"/>
<TextArea name="response" toName="dialogue"
maxSubmissions="1" editable="true"
required="true"/>
</View>
<Header value="Rate the response:"/>
<Rating name="rating" toName="dialogue"/>
</View>
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI
chat_llm = ChatOpenAI(
callbacks=[
LabelStudioCallbackHandler(
mode="chat",
project_name="New Project with Chat",
)
]
)
llm_results = chat_llm.invoke(
[
SystemMessage(content="Always use a lot of emojis"),
HumanMessage(content="Tell me a joke"),
]
)
在 Label Studio 中,打开“New Project with Chat”。点击已创建的任务,以查看对话历史并编辑/标注响应。
自定义标注配置
您可以修改 LabelStudio 中的默认标注配置,以添加更多目标标签,例如响应情感、相关性以及许多其他类型的标注者反馈。
可以通过 UI 添加新的标注配置:前往 Settings > Labeling Interface
(设置 > 标注界面),并设置一个自定义配置,其中包含额外的标签,例如用于情感的 Choices
或用于相关性的 Rating
。请记住,任何配置中都应包含 TextArea
标签以显示 LLM 响应。
或者,您可以在项目创建之前的初始调用中指定标注配置。
ls = LabelStudioCallbackHandler(
project_config="""
<View>
<Text name="prompt" value="$prompt"/>
<TextArea name="response" toName="prompt"/>
<TextArea name="user_feedback" toName="prompt"/>
<Rating name="rating" toName="prompt"/>
<Choices name="sentiment" toName="prompt">
<Choice value="Positive"/>
<Choice value="Negative"/>
</Choices>
</View>
"""
)
请注意,如果项目不存在,它将使用指定的标注配置创建。
其他参数
LabelStudioCallbackHandler
接受几个可选参数:
- api_key - Label Studio API 密钥。覆盖环境变量
LABEL_STUDIO_API_KEY
。 - url - Label Studio URL。覆盖
LABEL_STUDIO_URL
,默认为https://:8080
。 - project_id - 现有的 Label Studio 项目 ID。覆盖
LABEL_STUDIO_PROJECT_ID
。将数据存储在此项目中。 - project_name - 如果未指定项目 ID,则为项目名称。创建一个新项目。默认为根据当前日期格式化的
"LangChain-%Y-%m-%d"
。 - project_config - 自定义标注配置
- mode: 使用此快捷方式从头开始创建目标配置
"prompt"
- 单个提示,单个响应。默认值。"chat"
- 多轮聊天模式。