KoboldAI API

KoboldAI 是一个“基于浏览器的 AI 辅助写作前端，具有多个本地和远程 AI 模型……”。它具有一个公共和本地 API，可以在 langchain 中使用。

此示例介绍了如何在 langchain 中使用该 API。

文档可以在浏览器中通过在端点末尾添加 /api 来找到（例如 http://127.0.0.1/:5000/api）。

from langchain_community.llms import KoboldApiLLM

API 参考：KoboldApiLLM

将下面看到的端点替换为使用 --api 或 --public-api 启动 webui 后显示的输出中的端点

可选地，您可以传递诸如温度或最大长度之类的参数

llm = KoboldApiLLM(endpoint="http://192.168.1.144:5000", max_length=80)

response = llm.invoke(
    "### Instruction:\nWhat is the first book of the bible?\n### Response:"
)

相关​