跳到主要内容
Open on GitHub

Llama.cpp

llama.cpp python 库是 @ggerganov llama.cpp 的简单 Python 绑定库。

此软件包提供：

  • 通过 ctypes 接口低层访问 C API。
  • 用于文本补全的高级 Python API
    • 类 `OpenAI` API
    • `LangChain` 兼容性
    • `LlamaIndex` 兼容性
  • OpenAI 兼容的 Web 服务器
    • 本地 Copilot 替代方案
    • 函数调用支持
    • 视觉 API 支持
    • 多种模型

安装与设置​

  • 安装 Python 包 
    pip install llama-cpp-python
  • 下载其中一个支持的模型并按照说明将其转换为 llama.cpp 格式

聊天模型​

查看用法示例。

from langchain_community.chat_models import ChatLlamaCpp
API 参考：ChatLlamaCpp

LLM​

查看用法示例。

from langchain_community.llms import LlamaCpp
API 参考：LlamaCpp

嵌入模型​

查看用法示例。

from langchain_community.embeddings import LlamaCppEmbeddings
API 参考：LlamaCppEmbeddings