LocalAI

LocalAI 是免费的开源 OpenAI 替代方案。 LocalAI 充当即插即用的 REST API 替代品，与 OpenAI API 规范兼容，用于本地推理。 它允许您在本地或内部部署使用消费级硬件运行 LLM，生成图像、音频（不仅限于这些），并支持多种模型系列和架构。

注意

为了获得正确的兼容性，请确保您使用的 openai SDK 版本为 **0.x**。

信息

langchain-localai 是 LocalAI 的第三方集成包。 它提供了一种在 Langchain 中使用 LocalAI 服务的简单方法。 源代码可在 Github 上找到

安装和设置

我们必须安装几个 python 包

pip install tenacity openai

嵌入模型

查看使用示例。

from langchain_localai import LocalAIEmbeddings