跳到主要内容
Open In ColabOpen on GitHub

DeepSparse

本页介绍如何在 LangChain 中使用 DeepSparse 推理运行时。它分为两部分:安装和设置,以及 DeepSparse 的使用示例。

安装与设置

存在一个 DeepSparse LLM 包装器,它为所有模型提供了统一的接口

from langchain_community.llms import DeepSparse

llm = DeepSparse(
model="zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none"
)

print(llm.invoke("def fib():"))
API 参考:DeepSparse

可以使用 config 参数传递其他参数

config = {"max_generated_tokens": 256}

llm = DeepSparse(
model="zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none",
config=config,
)