llamafile
llamafile 允许您使用单个文件分发和运行 LLM。
llamafile
使开放 LLM 对开发人员和最终用户都更加容易访问。llamafile
通过将 llama.cpp 与 Cosmopolitan Libc 组合到一个框架中来实现这一点,该框架将 LLM 的所有复杂性简化为一个可在大多数计算机上本地运行的单文件可执行文件(称为“llamafile”),无需安装。
安装和设置
请参阅安装说明。
LLM
请参阅用法示例。
from langchain_community.llms.llamafile import Llamafile
API 参考:Llamafile
嵌入模型
请参阅用法示例。
from langchain_community.embeddings import LlamafileEmbeddings
API 参考:LlamafileEmbeddings