跳到主要内容
Open on GitHub

Runhouse

本页面介绍了如何在 LangChain 中使用 Runhouse 生态系统。它分为三个部分:安装和设置、大型语言模型 (LLM) 和嵌入。

安装与设置

  • 使用 pip install runhouse 安装 Python SDK
  • 如果您想使用按需集群,请使用 sky check 检查您的云凭据

自托管大型语言模型 (LLM)

对于基本的自托管 LLM,您可以使用 SelfHostedHuggingFaceLLM 类。对于更定制的 LLM,您可以使用 SelfHostedPipeline 父类。

from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM

有关自托管 LLM 的更详细演练,请参阅 此笔记本

自托管嵌入

通过 Runhouse 使用 LangChain 进行自托管嵌入有多种方式。

对于来自 Hugging Face Transformers 模型的自托管嵌入,您可以使用 SelfHostedEmbedding 类。

from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM

有关自托管嵌入的更详细演练,请参阅 此笔记本