ModelScope

ModelScope 是模型和数据集的大型存储库。

本页介绍如何在 LangChain 中使用 ModelScope 生态系统。它分为两个部分：安装和设置，以及特定 ModelScope 封装器的参考。

安装

pip install -U langchain-modelscope-integration

前往 ModelScope 注册 ModelScope 并生成 SDK 令牌。完成此操作后，设置环境变量 MODELSCOPE_SDK_TOKEN。

export MODELSCOPE_SDK_TOKEN=<your_sdk_token>

聊天模型

ModelScopeChatEndpoint 类提供了 ModelScope 的聊天模型。可在 此处 查看可用模型。

from langchain_modelscope import ModelScopeChatEndpoint

llm = ModelScopeChatEndpoint(model="Qwen/Qwen2.5-Coder-32B-Instruct")
llm.invoke("Sing a ballad of LangChain.")

嵌入

ModelScopeEmbeddings 类提供了 ModelScope 的嵌入模型。

from langchain_modelscope import ModelScopeEmbeddings

embeddings = ModelScopeEmbeddings(model_id="damo/nlp_corom_sentence-embedding_english-base")
embeddings.embed_query("What is the meaning of life?")

LLM

ModelScopeLLM 类提供了 ModelScope 的大型语言模型 (LLM)。

from langchain_modelscope import ModelScopeLLM

llm = ModelScopeLLM(model="Qwen/Qwen2.5-Coder-32B-Instruct")
llm.invoke("The meaning of life is")