IPEX-LLM
IPEX-LLM 是一个 PyTorch 库，用于在英特尔 CPU 和 GPU（例如，带有 iGPU 的本地 PC、Arc、Flex 和 Max 等独立 GPU）上运行 LLM，延迟非常低。
英特尔 GPU 上的 IPEX-LLM
此示例介绍了如何使用 LangChain 与ipex-llm交互，以便在英特尔 GPU 上进行文本生成。
注意
建议仅限使用英特尔 Arc A 系列 GPU（英特尔 Arc A300 系列或 Pro A60 除外）的 Windows 用户直接运行 Jupyter notebook 以获取“英特尔 GPU 上的 IPEX-LLM”部分。对于其他情况（例如 Linux 用户、英特尔 iGPU 等），建议在终端中使用 Python 脚本运行代码，以获得最佳体验。
安装先决条件
要从英特尔 GPU 上的 IPEX-LLM 中获益，需要执行几个先决条件步骤才能安装工具并准备环境。
如果您是 Windows 用户，请访问在 Windows 上安装带有英特尔 GPU 的 IPEX-LLM 指南，并按照安装先决条件更新 GPU 驱动程序（可选）并安装 Conda。
如果您是 Linux 用户，请访问在 Linux 上安装带有英特尔 GPU 的 IPEX-LLM，并按照安装先决条件安装 GPU 驱动程序、英特尔® oneAPI 基础工具包 2024.0 和 Conda。
设置
安装先决条件后，您应该已创建了一个安装了所有先决条件的 conda 环境。在此 conda 环境中启动 jupyter 服务
%pip install -qU langchain langchain-community
安装 IEPX-LLM 以在本地英特尔 GPU 上运行 LLM。
%pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/
注意
您还可以使用
https://pytorch-extension.intel.com/release-whl/stable/xpu/cn/作为额外索引 URL。
运行时配置
为了获得最佳性能，建议根据您的设备设置几个环境变量
对于使用英特尔酷睿超线程集成 GPU 的 Windows 用户
import os
os.environ["SYCL_CACHE_PERSISTENT"] = "1"
os.environ["BIGDL_LLM_XMX_DISABLED"] = "1"
对于使用英特尔 Arc A 系列 GPU 的 Windows 用户
import os
os.environ["SYCL_CACHE_PERSISTENT"] = "1"
注意
每个模型在英特尔 iGPU/英特尔 Arc A300 系列或 Pro A60 上首次运行时，可能需要几分钟才能编译。
基本用法
import warnings
from langchain.chains import LLMChain
from langchain_community.llms import IpexLLM
from langchain_core.prompts import PromptTemplate
warnings.filterwarnings("ignore", category=UserWarning, message=".*padding_mask.*")
为您的模型指定提示模板。在此示例中，我们使用vicuna-1.5模型。如果您使用的是其他模型，请相应地选择合适的模板。
template = "USER: {question}\nASSISTANT:"
prompt = PromptTemplate(template=template, input_variables=["question"])
使用IpexLLM.from_model_id在本地加载 IpexLLM 模型。它将直接以其 Huggingface 格式加载模型，并将其自动转换为低位格式以进行推理。在初始化 IpexLLM 时，将model_kwargs中的device设置为"xpu"，以便将 LLM 模型加载到英特尔 GPU 中。
llm = IpexLLM.from_model_id(
model_id="lmsys/vicuna-7b-v1.5",
model_kwargs={
"temperature": 0,
"max_length": 64,
"trust_remote_code": True,
"device": "xpu",
},
)
在链中使用它
llm_chain = prompt | llm
question = "What is AI?"
output = llm_chain.invoke(question)
保存/加载低位模型
或者，您可以在磁盘上保存一次低位模型，然后使用from_model_id_low_bit代替from_model_id来重新加载它以供以后使用，甚至可以在不同的机器上使用。它节省了空间，因为低位模型所需的磁盘空间比原始模型少得多。而且，就速度和内存使用而言，from_model_id_low_bit也比from_model_id更高效，因为它跳过了模型转换步骤。您可以类似地将model_kwargs中的device设置为"xpu"，以便将 LLM 模型加载到英特尔 GPU 中。
要保存低位模型，请按如下方式使用save_low_bit。
saved_lowbit_model_path = "./vicuna-7b-1.5-low-bit" # path to save low-bit model
llm.model.save_low_bit(saved_lowbit_model_path)
del llm
按如下方式从保存的低位模型路径加载模型。
请注意，保存的低位模型路径仅包含模型本身，而不包含标记器。如果您希望将所有内容放在一个位置，则需要手动从原始模型的目录下载或复制标记器文件到保存低位模型的位置。
llm_lowbit = IpexLLM.from_model_id_low_bit(
model_id=saved_lowbit_model_path,
tokenizer_id="lmsys/vicuna-7b-v1.5",
# tokenizer_name=saved_lowbit_model_path, # copy the tokenizers to saved path if you want to use it this way
model_kwargs={
"temperature": 0,
"max_length": 64,
"trust_remote_code": True,
"device": "xpu",
},
)
在链中使用加载的模型
llm_chain = prompt | llm_lowbit
question = "What is AI?"
output = llm_chain.invoke(question)
英特尔 CPU 上的 IPEX-LLM
此示例介绍了如何使用 LangChain 与ipex-llm交互，以便在英特尔 CPU 上进行文本生成。
设置
# Update Langchain
%pip install -qU langchain langchain-community
安装 IEPX-LLM 以在本地英特尔 CPU 上运行 LLM
对于 Windows 用户：
%pip install --pre --upgrade ipex-llm[all]
对于 Linux 用户：
%pip install --pre --upgrade ipex-llm[all] --extra-index-url https://download.pytorch.org/whl/cpu
基本用法
import warnings
from langchain.chains import LLMChain
from langchain_community.llms import IpexLLM
from langchain_core.prompts import PromptTemplate
warnings.filterwarnings("ignore", category=UserWarning, message=".*padding_mask.*")
为您的模型指定提示模板。在此示例中，我们使用vicuna-1.5模型。如果您使用的是其他模型，请相应地选择合适的模板。
template = "USER: {question}\nASSISTANT:"
prompt = PromptTemplate(template=template, input_variables=["question"])
使用IpexLLM.from_model_id在本地加载 IpexLLM 模型。它将直接以其 Huggingface 格式加载模型，并将其自动转换为低位格式以进行推理。
llm = IpexLLM.from_model_id(
model_id="lmsys/vicuna-7b-v1.5",
model_kwargs={"temperature": 0, "max_length": 64, "trust_remote_code": True},
)
在链中使用它
llm_chain = prompt | llm
question = "What is AI?"
output = llm_chain.invoke(question)
保存/加载低位模型
或者，您可以在磁盘上保存一次低位模型，然后使用from_model_id_low_bit代替from_model_id来重新加载它以供以后使用，甚至可以在不同的机器上使用。它节省了空间，因为低位模型所需的磁盘空间比原始模型少得多。而且，就速度和内存使用而言，from_model_id_low_bit也比from_model_id更高效，因为它跳过了模型转换步骤。
要保存低位模型，请按如下方式使用save_low_bit
saved_lowbit_model_path = "./vicuna-7b-1.5-low-bit" # path to save low-bit model
llm.model.save_low_bit(saved_lowbit_model_path)
del llm
按如下方式从保存的低位模型路径加载模型。
请注意，保存的低位模型路径仅包含模型本身，而不包含标记器。如果您希望将所有内容放在一个位置，则需要手动从原始模型的目录下载或复制标记器文件到保存低位模型的位置。
llm_lowbit = IpexLLM.from_model_id_low_bit(
model_id=saved_lowbit_model_path,
tokenizer_id="lmsys/vicuna-7b-v1.5",
# tokenizer_name=saved_lowbit_model_path, # copy the tokenizers to saved path if you want to use it this way
model_kwargs={"temperature": 0, "max_length": 64, "trust_remote_code": True},
)
在链中使用加载的模型
llm_chain = prompt | llm_lowbit
question = "What is AI?"
output = llm_chain.invoke(question)