如何为 LLM 和聊天模型添加即席工具调用功能
某些模型已针对工具调用进行了微调,并为工具调用提供了专用 API。通常,此类模型比未微调的模型更擅长工具调用,建议用于需要工具调用的用例。请参阅如何使用聊天模型调用工具指南以获取更多信息。
本指南假设您熟悉以下概念
在本指南中,我们将了解如何向聊天模型添加 ad-hoc 工具调用支持。如果您使用的模型不原生支持工具调用,这是一种调用工具的替代方法。
我们将通过简单地编写提示来使模型调用适当的工具。以下是逻辑图:
设置
我们需要安装以下软件包
%pip install --upgrade --quiet langchain langchain-community
如果您想使用 LangSmith,请取消注释以下内容
import getpass
import os
# os.environ["LANGCHAIN_TRACING_V2"] = "true"
# os.environ["LANGCHAIN_API_KEY"] = getpass.getpass()
您可以为此操作指南选择任何给定的模型。请记住,这些模型中的大多数已经支持原生工具调用,因此使用此处显示的提示策略对于这些模型没有意义,相反,您应该遵循如何使用聊天模型调用工具指南。
pip install -qU langchain-openai
import getpass
import os
if not os.environ.get("OPENAI_API_KEY"):
os.environ["OPENAI_API_KEY"] = getpass.getpass("Enter API key for OpenAI: ")
from langchain_openai import ChatOpenAI
model = ChatOpenAI(model="gpt-4")
为了说明这个想法,我们将通过 Ollama 使用 phi3
,它 不 原生支持工具调用。如果您也想使用 Ollama
,请按照这些说明进行操作。
from langchain_community.llms import Ollama
model = Ollama(model="phi3")
创建工具
首先,让我们创建 add
和 multiply
工具。有关创建自定义工具的更多信息,请参阅本指南。
from langchain_core.tools import tool
@tool
def multiply(x: float, y: float) -> float:
"""Multiply two numbers together."""
return x * y
@tool
def add(x: int, y: int) -> int:
"Add two numbers."
return x + y
tools = [multiply, add]
# Let's inspect the tools
for t in tools:
print("--")
print(t.name)
print(t.description)
print(t.args)
--
multiply
Multiply two numbers together.
{'x': {'title': 'X', 'type': 'number'}, 'y': {'title': 'Y', 'type': 'number'}}
--
add
Add two numbers.
{'x': {'title': 'X', 'type': 'integer'}, 'y': {'title': 'Y', 'type': 'integer'}}
multiply.invoke({"x": 4, "y": 5})
20.0
创建提示
我们要编写一个提示,指定模型可以访问的工具、这些工具的参数以及模型的所需输出格式。在这种情况下,我们将指示它输出 {"name": "...", "arguments": {...}}
形式的 JSON blob。
from langchain_core.output_parsers import JsonOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.tools import render_text_description
rendered_tools = render_text_description(tools)
print(rendered_tools)
multiply(x: float, y: float) -> float - Multiply two numbers together.
add(x: int, y: int) -> int - Add two numbers.
system_prompt = f"""\
You are an assistant that has access to the following set of tools.
Here are the names and descriptions for each tool:
{rendered_tools}
Given the user input, return the name and input of the tool to use.
Return your response as a JSON blob with 'name' and 'arguments' keys.
The `arguments` should be a dictionary, with keys corresponding
to the argument names and the values corresponding to the requested values.
"""
prompt = ChatPromptTemplate.from_messages(
[("system", system_prompt), ("user", "{input}")]
)
chain = prompt | model
message = chain.invoke({"input": "what's 3 plus 1132"})
# Let's take a look at the output from the model
# if the model is an LLM (not a chat model), the output will be a string.
if isinstance(message, str):
print(message)
else: # Otherwise it's a chat model
print(message.content)
{
"name": "add",
"arguments": {
"x": 3,
"y": 1132
}
}
添加输出解析器
我们将使用 JsonOutputParser
来将模型的输出解析为 JSON。
from langchain_core.output_parsers import JsonOutputParser
chain = prompt | model | JsonOutputParser()
chain.invoke({"input": "what's thirteen times 4"})
{'name': 'multiply', 'arguments': {'x': 13.0, 'y': 4.0}}
🎉 太棒了!🎉 我们现在已经指示我们的模型如何 请求 调用工具。
现在,让我们创建一些逻辑来实际运行该工具!
调用工具 🏃
既然模型可以请求调用工具,我们需要编写一个可以实际调用工具的函数。
该函数将按名称选择适当的工具,并将模型选择的参数传递给它。
from typing import Any, Dict, Optional, TypedDict
from langchain_core.runnables import RunnableConfig
class ToolCallRequest(TypedDict):
"""A typed dict that shows the inputs into the invoke_tool function."""
name: str
arguments: Dict[str, Any]
def invoke_tool(
tool_call_request: ToolCallRequest, config: Optional[RunnableConfig] = None
):
"""A function that we can use the perform a tool invocation.
Args:
tool_call_request: a dict that contains the keys name and arguments.
The name must match the name of a tool that exists.
The arguments are the arguments to that tool.
config: This is configuration information that LangChain uses that contains
things like callbacks, metadata, etc.See LCEL documentation about RunnableConfig.
Returns:
output from the requested tool
"""
tool_name_to_tool = {tool.name: tool for tool in tools}
name = tool_call_request["name"]
requested_tool = tool_name_to_tool[name]
return requested_tool.invoke(tool_call_request["arguments"], config=config)
让我们测试一下 🧪!
invoke_tool({"name": "multiply", "arguments": {"x": 3, "y": 5}})
15.0
让我们把它放在一起
让我们将其组合成一个链,该链创建一个具有加法和乘法功能的计算器。
chain = prompt | model | JsonOutputParser() | invoke_tool
chain.invoke({"input": "what's thirteen times 4.14137281"})
53.83784653
返回工具输入
返回工具输出和工具输入可能会很有帮助。我们可以通过使用 RunnablePassthrough.assign
赋值工具输出,轻松地使用 LCEL 来完成此操作。这会获取 RunnablePassrthrough 组件的任何输入(假定为字典),并向其添加一个键,同时仍然传递输入中当前存在的所有内容
from langchain_core.runnables import RunnablePassthrough
chain = (
prompt | model | JsonOutputParser() | RunnablePassthrough.assign(output=invoke_tool)
)
chain.invoke({"input": "what's thirteen times 4.14137281"})
{'name': 'multiply',
'arguments': {'x': 13, 'y': 4.14137281},
'output': 53.83784653}
下一步是什么?
此操作指南显示了当模型正确输出所有必需的工具信息时的“快乐路径”。
实际上,如果您使用更复杂的工具,您将开始遇到来自模型的错误,特别是对于没有针对工具调用进行微调的模型和功能较弱的模型。
您需要准备添加策略以改进模型的输出;例如:
- 提供少量示例。
- 添加错误处理(例如,捕获异常并将其反馈给 LLM,以要求其更正先前的输出)。