DeepSparse

此页面介绍如何在 LangChain 中使用 DeepSparse 推理运行时。它分为两个部分：安装和设置，然后是 DeepSparse 用法的示例。

安装和设置 Installation and Setup

• 使用 pip install deepsparse 安装 Python 包。
• 选择一个 SparseZoo 模型 或将支持模型导出到 ONNX 使用 Optimum

存在一个 DeepSparse LLM 包装器，它为所有模型提供统一的接口。

from langchain_community.llms import DeepSparse

llm = DeepSparse(
    model="zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none"
)

print(llm.invoke("def fib():"))

API 参考：DeepSparse

可以使用 config 参数传递其他参数。

config = {"max_generated_tokens": 256}

llm = DeepSparse(
    model="zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none",
    config=config,
)

相关 Related

• LLM 概念指南
• LLM 操作指南