CTranslate2

CTranslate2 是一个用于 Transformer 模型高效推理的 C++ 和 Python 库。

该项目实现了一个自定义运行时，它应用了权重量化、层融合、批次重排序等多种性能优化技术，以加速 Transformer 模型在 CPU 和 GPU 上的运行并减少内存使用。

功能和支持模型的完整列表包含在项目仓库中。要开始使用，请查看官方快速入门指南。

安装与设置

安装 Python 包

pip install ctranslate2

LLM

查看使用示例。

from langchain_community.llms import CTranslate2

API 参考：CTranslate2