llamafile

llamafile 让您能够通过单个文件分发和运行大型语言模型（LLM）。

llamafile 使开放的大型语言模型（LLM）对开发者和最终用户都更易于访问。llamafile 通过将 llama.cpp 与 Cosmopolitan Libc 结合到一个框架中，将LLM的所有复杂性简化为一个可在大多数计算机上本地运行的单文件可执行文件（称为“llamafile”），无需安装。

安装与设置

查看 安装说明。

LLM

查看 使用示例。

from langchain_community.llms.llamafile import Llamafile

API 参考：Llamafile

嵌入模型

查看 使用示例。

from langchain_community.embeddings import LlamafileEmbeddings

API 参考：LlamafileEmbeddings