Runhouse
本页介绍如何在 LangChain 中使用 Runhouse 生态系统。它分为三个部分:安装和设置、LLM 和嵌入。
安装和设置
- 使用
pip install runhouse
安装 Python SDK - 如果您想使用按需集群,请使用
sky check
检查您的云凭据
自托管 LLM
对于基本的自托管 LLM,您可以使用 SelfHostedHuggingFaceLLM
类。对于更自定义的 LLM,您可以使用 SelfHostedPipeline
父类。
from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM
有关自托管 LLM 的更详细演练,请参阅此 notebook
自托管嵌入
有几种方法可以通过 Runhouse 将自托管嵌入与 LangChain 一起使用。
对于来自 Hugging Face Transformers 模型的基本自托管嵌入,您可以使用 SelfHostedEmbedding
类。
from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM
有关自托管嵌入的更详细演练,请参阅此 notebook