跳到主要内容

RWKV-4

本页介绍如何在 LangChain 中使用 RWKV-4 包装器。它分为两部分:安装和设置,然后是使用示例。

安装和设置

  • 使用 pip install rwkv 安装 Python 包
  • 使用 pip install tokenizer 安装分词器 Python 包
  • 下载一个RWKV模型并将其放置在您想要的目录中
  • 下载令牌文件

使用

RWKV

要使用 RWKV 包装器,您需要提供预训练模型文件和分词器的配置路径。

from langchain_community.llms import RWKV

# Test the model

```python

def generate_prompt(instruction, input=None):
if input:
return f"""Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

# Instruction:
{instruction}

# Input:
{input}

# Response:
"""
else:
return f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.

# Instruction:
{instruction}

# Response:
"""


model = RWKV(model="./models/RWKV-4-Raven-3B-v7-Eng-20230404-ctx4096.pth", strategy="cpu fp32", tokens_path="./rwkv/20B_tokenizer.json")
response = model.invoke(generate_prompt("Once upon a time, "))
API 参考:RWKV

模型文件

您可以在RWKV-4-Raven存储库中找到模型文件下载的链接。

RWKV VRAM
Model | 8bit | bf16/fp16 | fp32
14B | 16GB | 28GB | >50GB
7B | 8GB | 14GB | 28GB
3B | 2.8GB| 6GB | 12GB
1b5 | 1.3GB| 3GB | 6GB

请查看rwkv pip页面,了解有关策略的更多信息,包括流式传输和cuda支持。


此页对您有帮助吗?