DeepInfra

DeepInfra 允许我们轻松运行最新的机器学习模型。DeepInfra 负责模型运行、扩展和监控相关的所有繁重工作。用户可以专注于其应用程序，并通过简单的 REST API 调用集成模型。

DeepInfra 提供了与 LangChain 集成的示例。

本页面介绍如何在 LangChain 中使用 DeepInfra 生态系统。它分为两部分：安装和设置，以及对特定 DeepInfra 封装器的引用。

安装与设置

• 在此处获取您的 DeepInfra API 密钥。
• 获取 DeepInfra API 密钥并将其设置为环境变量 (DEEPINFRA_API_TOKEN)

可用模型

DeepInfra 提供了一系列可供部署的开源 LLM。

您可以查看支持文本生成和嵌入的模型。

您可以查看请求和响应参数列表。

聊天模型遵循 OpenAI API

LLM

查看使用示例。

from langchain_community.llms import DeepInfra

API 参考：DeepInfra

嵌入

查看使用示例。

from langchain_community.embeddings import DeepInfraEmbeddings

API 参考：DeepInfraEmbeddings

聊天模型

查看使用示例。

from langchain_community.chat_models import ChatDeepInfra

API 参考：ChatDeepInfra