C Transformers
本页介绍如何在 LangChain 中使用 C Transformers 库。它分为两个部分:安装和设置,以及对特定 C Transformers 封装器的引用。
安装和设置
封装器
LLM
存在一个 CTransformers LLM 封装器,您可以使用以下方式访问它
from langchain_community.llms import CTransformers
API 参考:CTransformers
它为所有模型提供了一个统一的接口
llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2')
print(llm.invoke('AI is going to'))
如果您收到 illegal instruction
错误,请尝试使用 lib='avx'
或 lib='basic'
llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2', lib='avx')
它可以与托管在 Hugging Face Hub 上的模型一起使用
llm = CTransformers(model='marella/gpt-2-ggml')
如果模型仓库有多个模型文件(.bin
文件),请使用以下方式指定模型文件
llm = CTransformers(model='marella/gpt-2-ggml', model_file='ggml-model.bin')
可以使用 config
参数传递其他参数
config = {'max_new_tokens': 256, 'repetition_penalty': 1.1}
llm = CTransformers(model='marella/gpt-2-ggml', config=config)
有关可用参数的列表,请参阅 文档。
有关更详细的演练,请参阅 此笔记本。