跳到主要内容
Open on GitHub

Ollama

Ollama 允许您在本地运行开源大型语言模型,例如 Llama3.1

Ollama 将模型权重、配置和数据打包成一个单一的包,由 Modelfile 定义。它优化了设置和配置细节,包括 GPU 使用。有关支持的模型和模型变体的完整列表,请参阅 Ollama 模型库

有关如何在 LangChain 中使用 Ollama 的更多详细信息,请参阅此指南

安装与设置

Ollama 安装

请按照这些说明设置并运行本地 Ollama 实例。

Ollama 将自动作为后台服务启动,如果此功能被禁用,请运行

# export OLLAMA_HOST=127.0.0.1 # environment variable to set ollama host
# export OLLAMA_PORT=11434 # environment variable to set the ollama port
ollama serve

启动 Ollama 后,运行 ollama pull <name-of-model>Ollama 模型库下载模型

ollama pull llama3.1
  • 这将下载模型的默认标记版本。通常,默认版本指向最新、参数量最小的模型。
  • 要查看所有已拉取(已下载)的模型,请使用 ollama list

现在我们准备安装 langchain-ollama 合作伙伴包并运行模型。

Ollama LangChain 合作伙伴包安装

使用以下命令安装集成包:

pip install langchain-ollama

LLM

from langchain_ollama.llms import OllamaLLM
API 参考:OllamaLLM

请参阅此处的笔记本示例。

聊天模型

Chat Ollama

from langchain_ollama.chat_models import ChatOllama
API 参考:ChatOllama

请参阅此处的笔记本示例。

Ollama 工具调用

Ollama 工具调用使用与 OpenAI 兼容的 Web 服务器规范,并且可以与默认的 BaseChatModel.bind_tools() 方法一起使用,如此处所述。请确保选择支持工具调用的 Ollama 模型。

嵌入模型

from langchain_community.embeddings import OllamaEmbeddings
API 参考:OllamaEmbeddings

请参阅此处的笔记本示例。