Baseten
Baseten 是一个提供所有基础设施的提供商，您可以使用这些基础设施以高性能、可扩展且经济高效的方式部署和提供 ML 模型。
作为一个模型推理平台，
Baseten是 LangChain 生态系统中的一个Provider。Baseten集成目前实现了一个组件，即 LLM，但计划实现更多组件！
Baseten允许您在专用 GPU 上运行 Llama 2 或 Mistral 等开源模型，以及运行专有模型或微调模型。 如果您习惯了像 OpenAI 这样的提供商，那么使用 Baseten 有一些不同之处
- 您无需按 token 付费，而是按 GPU 使用分钟数付费。
- Baseten 上的每个模型都使用 Truss，我们开源的模型打包框架，以实现最大的可定制性。
- 虽然我们有一些与 OpenAI ChatCompletions 兼容的模型，但您可以使用
Truss定义自己的 I/O 规范。
了解更多关于模型 ID 和部署的信息。
在 Baseten 文档中了解更多关于 Baseten 的信息。
安装和设置
您需要两件事才能将 Baseten 模型与 LangChain 一起使用
将您的 API 密钥导出为名为 BASETEN_API_KEY 的环境变量。
export BASETEN_API_KEY="paste_your_api_key_here"
LLM
查看使用示例。
from langchain_community.llms import Baseten
API 参考：Baseten