DeepInfra

DeepInfra 使我们能够轻松运行最新的机器学习模型。DeepInfra 负责与运行、扩展和监控模型相关的所有繁重工作。用户可以专注于您的应用程序，并通过简单的 REST API 调用集成模型。

DeepInfra 提供了与 LangChain 集成的示例。

本页介绍如何在 LangChain 中使用 DeepInfra 生态系统。它分为两个部分：安装和设置，然后是特定 DeepInfra 封装器的参考。

安装和设置

• 从此处获取您的 DeepInfra api 密钥。
• 获取 DeepInfra api 密钥并将其设置为环境变量 (DEEPINFRA_API_TOKEN)

可用模型

DeepInfra 提供一系列可供部署的开源 LLM。

您可以查看文本生成和嵌入的受支持模型。

您可以查看请求和响应参数列表。

聊天模型遵循 openai api

LLM

请参阅使用示例。

from langchain_community.llms import DeepInfra

API 参考：DeepInfra

嵌入

请参阅使用示例。

from langchain_community.embeddings import DeepInfraEmbeddings

API 参考：DeepInfraEmbeddings

聊天模型

请参阅使用示例。

from langchain_community.chat_models import ChatDeepInfra

API 参考：ChatDeepInfra