跳到主要内容

C Transformers

本页介绍如何在 LangChain 中使用 C Transformers 库。它分为两部分:安装和设置,然后是特定 C Transformers 包装器的引用。

安装和设置

包装器

LLM

存在一个 CTransformers LLM 包装器,您可以使用以下方式访问它

from langchain_community.llms import CTransformers
API 参考:CTransformers

它为所有模型提供统一的接口

llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2')

print(llm.invoke('AI is going to'))

如果您收到 illegal instruction 错误,请尝试使用 lib='avx'lib='basic'

llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2', lib='avx')

它可以与托管在 Hugging Face Hub 上的模型一起使用

llm = CTransformers(model='marella/gpt-2-ggml')

如果模型存储库有多个模型文件(.bin 文件),请使用以下方式指定模型文件

llm = CTransformers(model='marella/gpt-2-ggml', model_file='ggml-model.bin')

可以使用 config 参数传递其他参数

config = {'max_new_tokens': 256, 'repetition_penalty': 1.1}

llm = CTransformers(model='marella/gpt-2-ggml', config=config)

有关可用参数的列表,请参阅文档

有关此内容的更详细演练,请参阅此笔记本


此页对您有帮助吗?