Anyscale
Anyscale 是一个通过生产就绪的 API 运行、微调和扩展 LLM 的平台。Anyscale Endpoints 以经济高效的方式服务于许多开源模型。
Anyscale
还提供了一个 示例,说明如何使用 Anyscale
设置 LangChain
以进行高级聊天代理。
安装和设置
- 获取 Anyscale 服务 URL、路由和 API 密钥,并将它们设置为环境变量(
ANYSCALE_SERVICE_URL
、ANYSCALE_SERVICE_ROUTE
、ANYSCALE_SERVICE_TOKEN
)。 - 有关更多详细信息,请参阅 Anyscale 文档。
我们必须安装 openai
包
pip install openai
LLM
请参阅使用示例。
from langchain_community.llms.anyscale import Anyscale
API 参考:Anyscale
聊天模型
请参阅使用示例。
from langchain_community.chat_models.anyscale import ChatAnyscale
API 参考:ChatAnyscale
嵌入
请参阅使用示例。
from langchain_community.embeddings import AnyscaleEmbeddings
API 参考:AnyscaleEmbeddings