C Transformers
本页介绍如何在 LangChain 中使用 C Transformers 库。它分为两部分:安装和设置,然后是特定 C Transformers 包装器的引用。
安装和设置
包装器
LLM
存在一个 CTransformers LLM 包装器,您可以使用以下方式访问它
from langchain_community.llms import CTransformers
API 参考:CTransformers
它为所有模型提供统一的接口
llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2')
print(llm.invoke('AI is going to'))
如果您收到 illegal instruction
错误,请尝试使用 lib='avx'
或 lib='basic'
llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2', lib='avx')
它可以与托管在 Hugging Face Hub 上的模型一起使用
llm = CTransformers(model='marella/gpt-2-ggml')
如果模型存储库有多个模型文件(.bin
文件),请使用以下方式指定模型文件
llm = CTransformers(model='marella/gpt-2-ggml', model_file='ggml-model.bin')
可以使用 config
参数传递其他参数
config = {'max_new_tokens': 256, 'repetition_penalty': 1.1}
llm = CTransformers(model='marella/gpt-2-ggml', config=config)
有关可用参数的列表,请参阅文档。
有关此内容的更详细演练,请参阅此笔记本。