跳到主要内容
Open on GitHub

多模态

概述​

多模态指处理不同形式数据（如文本、音频、图像和视频）的能力。多模态可以体现在各种组件中，使模型和系统能够无缝处理和加工这些混合数据类型。

  • 聊天模型：理论上，它们可以接受和生成多模态输入和输出，处理各种数据类型，如文本、图像、音频和视频。
  • 嵌入模型：嵌入模型可以表示多模态内容，将各种形式的数据（如文本、图像和音频）嵌入到向量空间中。
  • 向量存储：向量存储可以搜索表示多模态数据的嵌入，从而实现跨不同信息类型的检索。

聊天模型中的多模态​

先决条件

LangChain 支持将多模态数据作为聊天模型的输入

  1. 遵循供应商特定格式
  2. 遵循跨供应商标准（详情请参阅操作指南）

如何使用多模态模型​

支持哪种多模态？​

输入​

一些模型可以接受多模态输入，如图像、音频、视频或文件。支持的多模态输入类型取决于模型供应商。例如，OpenAI、Anthropic 和 Google Gemini 支持将 PDF 等文档作为输入。

将多模态输入传递给聊天模型的核心是使用内容块，这些内容块指定类型和相应的数据。例如，要将图像作为 URL 传递给聊天模型

from langchain_core.messages import HumanMessage

message = HumanMessage(
    content=[
        {"type": "text", "text": "Describe the weather in this image:"},
        {
            "type": "image",
            "source_type": "url",
            "url": "https://...",
        },
    ],
)
response = model.invoke([message])
API 参考：HumanMessage

我们也可以将图像作为内联数据传递

from langchain_core.messages import HumanMessage

message = HumanMessage(
    content=[
        {"type": "text", "text": "Describe the weather in this image:"},
        {
            "type": "image",
            "source_type": "base64",
            "data": "<base64 string>",
            "mime_type": "image/jpeg",
        },
    ],
)
response = model.invoke([message])
API 参考：HumanMessage

要将 PDF 文件作为内联数据（或 URL，如果供应商如 Anthropic 支持），只需将 "type" 更改为 "file"，将 "mime_type" 更改为 "application/pdf"。

更多详情请参阅操作指南。

大多数支持多模态图像输入的聊天模型也接受 OpenAI 的聊天补全格式中的这些值

from langchain_core.messages import HumanMessage

message = HumanMessage(
    content=[
        {"type": "text", "text": "Describe the weather in this image:"},
        {"type": "image_url", "image_url": {"url": image_url}},
    ],
)
response = model.invoke([message])
API 参考：HumanMessage

否则，聊天模型通常会接受原生的、供应商特定的内容块格式。有关特定供应商的详细信息，请参阅聊天模型集成。

输出​

一些聊天模型支持多模态输出，如图像和音频。多模态输出将作为 AIMessage 响应对象的一部分出现。例如：

工具​

目前，没有聊天模型被设计为在工具调用请求或ToolMessage结果中直接处理多模态数据。

然而，聊天模型可以通过调用带有指向多模态数据引用（例如 URL）的工具来轻松地与多模态数据交互，而不是直接处理数据本身。例如，任何具备工具调用能力的模型都可以配备下载和处理图像、音频或视频的工具。

嵌入模型中的多模态​

先决条件

嵌入是数据的向量表示，用于相似性搜索和检索等任务。

LangChain 中当前使用的嵌入接口完全针对文本数据进行了优化，不适用于多模态数据。

随着涉及多模态搜索和检索任务的使用场景变得更加普遍，我们预计将扩展嵌入接口以适应其他数据类型，如图像、音频和视频。

向量存储中的多模态​

先决条件

向量存储是用于存储和检索嵌入的数据库，通常用于搜索和检索任务。与嵌入类似，向量存储目前针对文本数据进行了优化。

随着涉及多模态搜索和检索任务的使用场景变得更加普遍，我们预计将扩展向量存储接口以适应其他数据类型，如图像、音频和视频。