OpenLLM

🦾 OpenLLM 是一个用于在生产环境中操作大型语言模型 (LLM) 的开放平台。它使开发人员能够轻松地使用任何开源 LLM 进行推理，部署到云端或本地，并构建强大的 AI 应用。

安装

通过 PyPI 安装 openllm

%pip install --upgrade --quiet  openllm

在本地启动 OpenLLM 服务器

要启动 LLM 服务器，请使用 openllm start 命令。例如，要启动 dolly-v2 服务器，请从终端运行以下命令

openllm start dolly-v2

包装器

from langchain_community.llms import OpenLLM

server_url = "http://localhost:3000"  # Replace with remote host if you are running on a remote server
llm = OpenLLM(server_url=server_url)

API 参考：OpenLLM

可选：本地 LLM 推理

您也可以选择从当前进程在本地初始化由 OpenLLM 管理的 LLM。这对于开发目的很有用，并允许开发人员快速尝试不同类型的 LLM。

在将 LLM 应用程序迁移到生产环境时，我们建议单独部署 OpenLLM 服务器并通过上面演示的 server_url 选项进行访问。

要通过 LangChain 包装器在本地加载 LLM

from langchain_community.llms import OpenLLM

llm = OpenLLM(
    model_name="dolly-v2",
    model_id="databricks/dolly-v2-3b",
    temperature=0.94,
    repetition_penalty=1.2,
)

API 参考：OpenLLM

与 LLMChain 集成

from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate

template = "What is a good name for a company that makes {product}?"

prompt = PromptTemplate.from_template(template)

llm_chain = LLMChain(prompt=prompt, llm=llm)

generated = llm_chain.run(product="mechanical keyboard")
print(generated)

API 参考：LLMChain | PromptTemplate

iLkb

相关

• LLM 概念指南
• LLM 操作指南