Llama.cpp

llama.cpp python 库 是 @ggerganov llama.cpp 的一个简单 Python 绑定。

此软件包提供：

• 通过 ctypes 接口低层访问 C API。
• 用于文本补全的高级 Python API
  • 类 `OpenAI` API
  • `LangChain` 兼容性
  • `LlamaIndex` 兼容性
• OpenAI 兼容的 Web 服务器
  • 本地 Copilot 替代方案
  • 函数调用支持
  • 视觉 API 支持
  • 多种模型

%pip install --upgrade --quiet  llama-cpp-python

from langchain_community.embeddings import LlamaCppEmbeddings

API 参考：LlamaCppEmbeddings

llama = LlamaCppEmbeddings(model_path="/path/to/model/ggml-model-q4_0.bin")

text = "This is a test document."

query_result = llama.embed_query(text)

doc_result = llama.embed_documents([text])

相关

• 嵌入模型概念指南
• 嵌入模型操作指南