跳到主要内容

llamafile

llamafile 允许您使用单个文件分发和运行 LLM。

llamafile 使开放 LLM 对开发人员和最终用户都更加容易访问。 llamafile 通过将 llama.cppCosmopolitan Libc 组合到一个框架中来实现这一点,该框架将 LLM 的所有复杂性简化为一个可在大多数计算机上本地运行的单文件可执行文件(称为“llamafile”),无需安装。

安装和设置

请参阅安装说明

LLM

请参阅用法示例

from langchain_community.llms.llamafile import Llamafile
API 参考:Llamafile

嵌入模型

请参阅用法示例

from langchain_community.embeddings import LlamafileEmbeddings
API 参考:LlamafileEmbeddings

此页是否对您有帮助?