Baseten

Baseten 提供了您所需的所有基础设施，以高性能、可扩展和经济高效的方式部署和提供 ML 模型。

作为模型推理平台，Baseten 是 LangChain 生态系统中的一个“提供商”（Provider）。Baseten 集成目前只实现了单个“组件”（Component）——大型语言模型（LLMs），但计划支持更多！

Baseten 允许您运行 Llama 2 或 Mistral 等开源模型，并在专用 GPU 上运行专有或微调模型。如果您习惯于使用 OpenAI 等提供商，Baseten 有一些不同之处：

• 您按 GPU 使用分钟数付费，而不是按 token 数量付费。
• Baseten 上的每个模型都使用 Truss（我们的开源模型打包框架），以实现最大的可定制性。
• 虽然我们有一些 兼容 OpenAI ChatCompletions 的模型，但您可以使用 Truss 定义自己的 I/O 规范。

了解更多关于模型 ID 和部署的信息。

在 Baseten 文档中了解更多关于 Baseten 的信息。

安装与设置

您需要两样东西才能在 LangChain 中使用 Baseten 模型：

• 一个 Baseten 账户
• 一个 API 密钥

将您的 API 密钥导出为名为 BASETEN_API_KEY 的环境变量。

export BASETEN_API_KEY="paste_your_api_key_here"

LLM

请参阅使用示例。

from langchain_community.llms import Baseten

API 参考：Baseten