跳到主要内容

LlamaEdge

LlamaEdge 是在本地或边缘运行自定义和微调 LLM 的最简单、最快的方式。

  • 轻量级推理应用程序。 LlamaEdge 的大小以 MB 为单位,而不是 GB。
  • 原生和 GPU 加速性能
  • 支持多种 GPU 和硬件加速器
  • 支持多种优化的推理库
  • 广泛的 AI / LLM 模型选择

安装和设置

请参阅安装说明

聊天模型

请参阅使用示例

from langchain_community.chat_models.llama_edge import LlamaEdgeChatService

此页是否对您有帮助?