提供商更多LlamaEdge在此页上LlamaEdge LlamaEdge 是在本地或边缘运行自定义和微调 LLM 的最简单和最快的方式。 轻量级推理应用。LlamaEdge 以 MB 为单位，而不是 GB 原生和 GPU 加速性能 支持多种 GPU 和硬件加速器 支持多种优化的推理库 广泛的 AI / LLM 模型选择 安装和设置 请参阅安装说明。 聊天模型 请参阅使用示例。 from langchain_community.chat_models.llama_edge import LlamaEdgeChatServiceAPI 参考:LlamaEdgeChatService
