在英特尔 GPU 上使用 IPEX-LLM 进行本地 BGE 嵌入

IPEX-LLM 是一个 PyTorch 库，用于在英特尔 CPU 和 GPU（例如，带有 iGPU 的本地 PC，以及 Arc、Flex 和 Max 等独立 GPU）上运行 LLM，延迟非常低。

此示例介绍了如何使用 LangChain 通过ipex-llm在英特尔 GPU 上进行嵌入任务优化。这在 RAG、文档 QA 等应用中很有帮助。

注意

建议只有使用英特尔 Arc A 系列 GPU（英特尔 Arc A300 系列或 Pro A60 除外）的 Windows 用户直接运行此 Jupyter Notebook。对于其他情况（例如 Linux 用户、英特尔 iGPU 等），建议在终端使用 Python 脚本运行代码以获得最佳体验。

安装先决条件

为了在英特尔 GPU 上获得 IPEX-LLM 的优势，需要进行几个先决条件步骤来安装工具和准备环境。

如果您是 Windows 用户，请访问在 Windows 上使用英特尔 GPU 安装 IPEX-LLM 指南，并按照安装先决条件更新 GPU 驱动程序（可选）并安装 Conda。

如果您是 Linux 用户，请访问在 Linux 上使用英特尔 GPU 安装 IPEX-LLM，并按照安装先决条件安装 GPU 驱动程序、Intel® oneAPI Base Toolkit 2024.0 和 Conda。

设置

安装完先决条件后，您应该已创建了一个安装了所有先决条件的 conda 环境。在此 conda 环境中启动 jupyter 服务

%pip install -qU langchain langchain-community

安装 IPEX-LLM 以在英特尔 GPU 上进行优化，以及sentence-transformers。

%pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/
%pip install sentence-transformers

注意

您还可以使用https://pytorch-extension.intel.com/release-whl/stable/xpu/cn/作为 extra-indel-url。

运行时配置

为了获得最佳性能，建议根据您的设备设置几个环境变量

对于使用英特尔酷睿 Ultra 集成 GPU 的 Windows 用户

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"
os.environ["BIGDL_LLM_XMX_DISABLED"] = "1"

对于使用英特尔 Arc A 系列 GPU 的 Windows 用户

import os

os.environ["SYCL_CACHE_PERSISTENT"] = "1"

注意

每个模型在英特尔 iGPU/英特尔 Arc A300 系列或 Pro A60 上首次运行时，可能需要几分钟才能编译。

对于其他 GPU 类型，请参阅此处（适用于 Windows 用户）和此处（适用于 Linux 用户）。

基本用法

在初始化IpexLLMBgeEmbeddings时将model_kwargs中的device设置为"xpu"会将嵌入模型置于英特尔 GPU 上，并受益于 IPEX-LLM 优化

from langchain_community.embeddings import IpexLLMBgeEmbeddings

embedding_model = IpexLLMBgeEmbeddings(
    model_name="BAAI/bge-large-en-v1.5",
    model_kwargs={"device": "xpu"},
    encode_kwargs={"normalize_embeddings": True},
)

API 参考：IpexLLMBgeEmbeddings

API 参考

• IpexLLMBgeEmbeddings

sentence = "IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU (e.g., local PC with iGPU, discrete GPU such as Arc, Flex and Max) with very low latency."
query = "What is IPEX-LLM?"

text_embeddings = embedding_model.embed_documents([sentence, query])
print(f"text_embeddings[0][:10]: {text_embeddings[0][:10]}")
print(f"text_embeddings[1][:10]: {text_embeddings[1][:10]}")

query_embedding = embedding_model.embed_query(query)
print(f"query_embedding[:10]: {query_embedding[:10]}")

相关

• 嵌入模型概念指南
• 嵌入模型操作指南