Llama.cpp

llama.cpp python 库是 @ggerganov llama.cpp 的简单 Python 绑定。

此软件包提供

• 通过 ctypes 接口对 C API 的底层访问。
• 用于文本补全的高级 Python API
  • 类似 OpenAI 的 API
  • LangChain 兼容性
  • LlamaIndex 兼容性
• OpenAI 兼容的 Web 服务器
  • 本地 Copilot 替代方案
  • 函数调用支持
  • 视觉 API 支持
  • 多模型

安装与设置

• 安装 Python 包

  pip install llama-cpp-python
• 下载一个受支持的模型，并按照说明将其转换为 llama.cpp 格式

聊天模型

查看使用示例。

from langchain_community.chat_models import ChatLlamaCpp

API 参考:ChatLlamaCpp

LLMs

查看使用示例。

from langchain_community.llms import LlamaCpp

API 参考:LlamaCpp

嵌入模型

查看使用示例。

from langchain_community.embeddings import LlamaCppEmbeddings

API 参考:LlamaCppEmbeddings