C Transformers
该 C Transformers 库为 GGML 模型提供了 Python 绑定。
此示例介绍了如何使用 LangChain 与C Transformers 模型进行交互。
安装
%pip install --upgrade --quiet ctransformers
加载模型
from langchain_community.llms import CTransformers
llm = CTransformers(model="marella/gpt-2-ggml")
API 参考：CTransformers
生成文本
print(llm.invoke("AI is going to"))
流式传输
from langchain_core.callbacks import StreamingStdOutCallbackHandler
llm = CTransformers(
model="marella/gpt-2-ggml", callbacks=[StreamingStdOutCallbackHandler()]
)
response = llm.invoke("AI is going to")
LLMChain
from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate
template = """Question: {question}
Answer:"""
prompt = PromptTemplate.from_template(template)
llm_chain = LLMChain(prompt=prompt, llm=llm)
response = llm_chain.run("What is AI?")
API 参考：LLMChain | PromptTemplate