llamafile

llamafile 让您通过单个文件分发和运行 LLM。

llamafile 使开放 LLM 对开发者和最终用户都更加容易访问。llamafile 通过将 llama.cpp 与 Cosmopolitan Libc 结合到一个框架中来实现这一点，该框架将 LLM 的所有复杂性简化为一个单文件可执行文件（称为“llamafile”），该文件可以在大多数计算机上本地运行，无需安装。

安装和设置

请参阅安装说明。

LLMs

请参阅使用示例。

from langchain_community.llms.llamafile import Llamafile

API 参考：Llamafile

嵌入模型

请参阅使用示例。

from langchain_community.embeddings import LlamafileEmbeddings

API 参考：LlamafileEmbeddings