LocalAI
LocalAI 是免费的开源 OpenAI 替代方案。
LocalAI
作为与 OpenAI API 规范兼容的即插即用 REST API,用于本地推理。它允许您在本地或内部部署上使用消费级硬件运行 LLM、生成图像、音频(等等),支持多种模型系列和架构。
注意
为确保兼容性,请确保您使用的 openai
SDK 版本为 0.x。
信息
langchain-localai
是 LocalAI 的第三方集成包。它提供了一种在 Langchain 中使用 LocalAI 服务的简单方法。源代码可在 Github 上获取。
安装与设置
我们需要安装几个 Python 包。
pip install tenacity openai
嵌入模型
请参阅使用示例。
from langchain_localai import LocalAIEmbeddings