Llama.cpp

llama.cpp python 库是 @ggerganov llama.cpp 的简单 Python 绑定。

此软件包提供

• 通过 ctypes 接口访问底层 C API。
• 用于文本补全的高级 Python API
  • OpenAI 类 API
  • LangChain 兼容性
  • LlamaIndex 兼容性
• OpenAI 兼容的 Web 服务器
  • 本地 Copilot 替代品
  • 函数调用支持
  • 视觉 API 支持
  • 多个模型

%pip install --upgrade --quiet  llama-cpp-python

from langchain_community.embeddings import LlamaCppEmbeddings

API 参考：LlamaCppEmbeddings

llama = LlamaCppEmbeddings(model_path="/path/to/model/ggml-model-q4_0.bin")

text = "This is a test document."

query_result = llama.embed_query(text)

doc_result = llama.embed_documents([text])

相关

• 嵌入模型 概念指南
• 嵌入模型 操作指南