跳到主要内容
Open In ColabOpen on GitHub

Label Studio

Label Studio 是一个开源数据标注平台,它为 LangChain 提供了在为大型语言模型(LLM)微调数据时所需的灵活性。它还支持准备自定义训练数据,并通过人工反馈来收集和评估响应。

在本指南中,您将学习如何将 LangChain 流水线连接到 Label Studio,以实现以下功能:

  • 将所有输入提示、对话和响应汇总到一个 Label Studio 项目中。这会将所有数据整合到一个地方,以便更轻松地进行标注和分析。
  • 优化提示和响应,以创建用于监督微调(SFT)和带有人工反馈的强化学习(RLHF)场景的数据集。标注后的数据可用于进一步训练 LLM,以提高其性能。
  • 通过人工反馈评估模型响应。Label Studio 提供了一个界面,供人工审查模型响应并提供反馈,从而实现评估和迭代。

安装和设置

首先安装最新版本的 Label Studio 和 Label Studio API 客户端

%pip install --upgrade --quiet langchain label-studio label-studio-sdk langchain-openai langchain-community

接下来,在命令行运行 label-studio 以启动本地 LabelStudio 实例,地址为 https://:8080。有关更多选项,请参阅Label Studio 安装指南

您需要一个令牌才能进行 API 调用。

在浏览器中打开您的 LabelStudio 实例,前往 Account & Settings > Access Token(账户与设置 > 访问令牌)并复制密钥。

设置包含您的 LabelStudio URL、API 密钥和 OpenAI API 密钥的环境变量

import os

os.environ["LABEL_STUDIO_URL"] = "<YOUR-LABEL-STUDIO-URL>" # e.g. https://:8080
os.environ["LABEL_STUDIO_API_KEY"] = "<YOUR-LABEL-STUDIO-API-KEY>"
os.environ["OPENAI_API_KEY"] = "<YOUR-OPENAI-API-KEY>"

收集 LLM 提示和响应

用于标注的数据存储在 Label Studio 中的项目中。每个项目都通过一个 XML 配置来标识,该配置详细说明了输入和输出数据的规范。

创建一个项目,该项目接受文本格式的人工输入,并在文本区域输出可编辑的 LLM 响应。

<View>
<Style>
.prompt-box {
background-color: white;
border-radius: 10px;
box-shadow: 0px 4px 6px rgba(0, 0, 0, 0.1);
padding: 20px;
}
</Style>
<View className="root">
<View className="prompt-box">
<Text name="prompt" value="$prompt"/>
</View>
<TextArea name="response" toName="prompt"
maxSubmissions="1" editable="true"
required="true"/>
</View>
<Header value="Rate the response:"/>
<Rating name="rating" toName="prompt"/>
</View>
  1. 要在 Label Studio 中创建项目,请点击“Create”(创建)按钮。
  2. 在“Project Name”(项目名称)字段中输入您的项目名称,例如 My Project
  3. 导航到 Labeling Setup > Custom Template(标注设置 > 自定义模板)并粘贴上面提供的 XML 配置。

您可以通过 LabelStudioCallbackHandler 连接,在 LabelStudio 项目中收集 LLM 输入提示和输出响应。

from langchain_community.callbacks.labelstudio_callback import (
LabelStudioCallbackHandler,
)
from langchain_openai import OpenAI

llm = OpenAI(
temperature=0, callbacks=[LabelStudioCallbackHandler(project_name="My Project")]
)
print(llm.invoke("Tell me a joke"))
API 参考:OpenAI

在 Label Studio 中,打开“My Project”。您将看到提示、响应以及模型名称等元数据。

收集聊天模型对话

您还可以在 LabelStudio 中跟踪和显示完整的聊天对话,并能够对最后一条响应进行评分和修改。

  1. 打开 Label Studio 并点击“Create”(创建)按钮。
  2. 在“Project Name”(项目名称)字段中输入您的项目名称,例如 New Project with Chat
  3. 导航到 Labeling Setup > Custom Template(标注设置 > 自定义模板)并粘贴以下 XML 配置。
<View>
<View className="root">
<Paragraphs name="dialogue"
value="$prompt"
layout="dialogue"
textKey="content"
nameKey="role"
granularity="sentence"/>
<Header value="Final response:"/>
<TextArea name="response" toName="dialogue"
maxSubmissions="1" editable="true"
required="true"/>
</View>
<Header value="Rate the response:"/>
<Rating name="rating" toName="dialogue"/>
</View>
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

chat_llm = ChatOpenAI(
callbacks=[
LabelStudioCallbackHandler(
mode="chat",
project_name="New Project with Chat",
)
]
)
llm_results = chat_llm.invoke(
[
SystemMessage(content="Always use a lot of emojis"),
HumanMessage(content="Tell me a joke"),
]
)

在 Label Studio 中,打开“New Project with Chat”。点击已创建的任务,以查看对话历史并编辑/标注响应。

自定义标注配置

您可以修改 LabelStudio 中的默认标注配置,以添加更多目标标签,例如响应情感、相关性以及许多其他类型的标注者反馈

可以通过 UI 添加新的标注配置:前往 Settings > Labeling Interface(设置 > 标注界面),并设置一个自定义配置,其中包含额外的标签,例如用于情感的 Choices 或用于相关性的 Rating。请记住,任何配置中都应包含 TextArea 标签以显示 LLM 响应。

或者,您可以在项目创建之前的初始调用中指定标注配置。

ls = LabelStudioCallbackHandler(
project_config="""
<View>
<Text name="prompt" value="$prompt"/>
<TextArea name="response" toName="prompt"/>
<TextArea name="user_feedback" toName="prompt"/>
<Rating name="rating" toName="prompt"/>
<Choices name="sentiment" toName="prompt">
<Choice value="Positive"/>
<Choice value="Negative"/>
</Choices>
</View>
"""
)

请注意,如果项目不存在,它将使用指定的标注配置创建。

其他参数

LabelStudioCallbackHandler 接受几个可选参数:

  • api_key - Label Studio API 密钥。覆盖环境变量 LABEL_STUDIO_API_KEY
  • url - Label Studio URL。覆盖 LABEL_STUDIO_URL,默认为 https://:8080
  • project_id - 现有的 Label Studio 项目 ID。覆盖 LABEL_STUDIO_PROJECT_ID。将数据存储在此项目中。
  • project_name - 如果未指定项目 ID,则为项目名称。创建一个新项目。默认为根据当前日期格式化的 "LangChain-%Y-%m-%d"
  • project_config - 自定义标注配置
  • mode: 使用此快捷方式从头开始创建目标配置
    • "prompt" - 单个提示,单个响应。默认值。
    • "chat" - 多轮聊天模式。