IPEX-LLM：英特尔 GPU 上的本地 BGE 嵌入

IPEX-LLM 是一个 PyTorch 库，用于在英特尔 CPU 和 GPU（例如，带有集成显卡的本地电脑，以及 Arc、Flex 和 Max 等独立显卡）上以极低延迟运行 LLM。

本示例将介绍如何在英特尔GPU上使用LangChain通过 `ipex-llm` 优化来执行嵌入任务。这对于RAG、文档问答等应用将非常有用。

注意

建议仅使用英特尔锐炫A系列GPU（英特尔锐炫A300系列或Pro A60除外）的Windows用户直接运行此Jupyter Notebook。对于其他情况（例如Linux用户、英特尔核显等），建议通过终端使用Python脚本运行代码，以获得最佳体验。

安装先决条件

为了在英特尔GPU上利用IPEX-LLM的优势，需要进行几个工具安装和环境准备的先决条件步骤。

如果您是Windows用户，请访问在Windows上使用英特尔GPU安装IPEX-LLM指南，并按照安装先决条件更新GPU驱动（可选）并安装Conda。

如果您是Linux用户，请访问在Linux上使用英特尔GPU安装IPEX-LLM，并按照安装先决条件安装GPU驱动、Intel® oneAPI Base Toolkit 2024.0和Conda。

设置

安装完先决条件后，您应该已经创建了一个包含所有先决条件的conda环境。在此conda环境中启动Jupyter服务

%pip install -qU langchain langchain-community

安装IPEX-LLM以在英特尔GPU上进行优化，以及 `sentence-transformers`。

%pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/
%pip install sentence-transformers

注意

您也可以使用 `https://pytorch-extension.intel.com/release-whl/stable/xpu/cn/` 作为 `extra-indel-url`。

运行时配置

为获得最佳性能，建议根据您的设备设置几个环境变量

适用于配备英特尔酷睿Ultra集成显卡的Windows用户

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"
os.environ["BIGDL_LLM_XMX_DISABLED"] = "1"

适用于配备英特尔锐炫A系列GPU的Windows用户

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"

注意

首次在英特尔核显/英特尔锐炫A300系列或Pro A60上运行每个模型时，可能需要几分钟进行编译。

对于其他GPU类型，请参阅Windows用户的此处，以及Linux用户的此处。

基本用法

在初始化 `IpexLLMBgeEmbeddings` 时，将 `model_kwargs` 中的 `device` 设置为 `\"xpu\"` 会将嵌入模型置于英特尔GPU上，并受益于IPEX-LLM的优化。

from langchain_community.embeddings import IpexLLMBgeEmbeddings

embedding_model = IpexLLMBgeEmbeddings(
    model_name="BAAI/bge-large-en-v1.5",
    model_kwargs={"device": "xpu"},
    encode_kwargs={"normalize_embeddings": True},
)

API 参考:IpexLLMBgeEmbeddings

API 参考

• IpexLLMBgeEmbeddings

sentence = "IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU (e.g., local PC with iGPU, discrete GPU such as Arc, Flex and Max) with very low latency."
query = "What is IPEX-LLM?"

text_embeddings = embedding_model.embed_documents([sentence, query])
print(f"text_embeddings[0][:10]: {text_embeddings[0][:10]}")
print(f"text_embeddings[1][:10]: {text_embeddings[1][:10]}")

query_embedding = embedding_model.embed_query(query)
print(f"query_embedding[:10]: {query_embedding[:10]}")

相关

• 嵌入模型概念指南
• 嵌入模型操作指南