Huggingface 端点
Hugging Face Hub 是一个平台，拥有超过 120,000 个模型、20,000 个数据集和 50,000 个演示应用程序（Spaces），所有这些都开源且公开可用，在一个在线平台上，人们可以轻松地协作并共同构建机器学习。
Hugging Face Hub 还提供各种端点来构建机器学习应用程序。此示例展示了如何连接到不同类型的端点。
特别是，文本生成推理由 Text Generation Inference 提供支持：一个用于超快文本生成推理的定制构建的 Rust、Python 和 gRPC 服务器。
from langchain_huggingface import HuggingFaceEndpoint
API 参考：HuggingFaceEndpoint
安装和设置
要使用，您应该安装 huggingface_hub python 包。
%pip install --upgrade --quiet huggingface_hub
# get a token: https://hugging-face.cn/docs/api-inference/quicktour#get-your-api-token
from getpass import getpass
HUGGINGFACEHUB_API_TOKEN = getpass()
import os
os.environ["HUGGINGFACEHUB_API_TOKEN"] = HUGGINGFACEHUB_API_TOKEN
准备示例
from langchain_huggingface import HuggingFaceEndpoint
API 参考：HuggingFaceEndpoint
from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate
API 参考：LLMChain | PromptTemplate
question = "Who won the FIFA World Cup in the year 1994? "
template = """Question: {question}
Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
示例
以下是如何访问免费 无服务器端点 API 的 HuggingFaceEndpoint 集成的一个示例。
repo_id = "mistralai/Mistral-7B-Instruct-v0.2"
llm = HuggingFaceEndpoint(
repo_id=repo_id,
max_length=128,
temperature=0.5,
huggingfacehub_api_token=HUGGINGFACEHUB_API_TOKEN,
)
llm_chain = prompt | llm
print(llm_chain.invoke({"question": question}))
专用端点
免费的无服务器 API 允许您立即实施解决方案并进行迭代，但对于大量使用情况，它可能会受到速率限制，因为负载与其他请求共享。
对于企业工作负载，最好使用 推理端点 - 专用。这提供了对完全托管的基础设施的访问，这些基础设施提供了更大的灵活性和速度。这些资源具有持续的支持和正常运行时间保证，以及自动缩放等选项。
# Set the url to your Inference Endpoint below
your_endpoint_url = "https://fayjubiy2xqn36z0.us-east-1.aws.endpoints.huggingface.cloud"
llm = HuggingFaceEndpoint(
endpoint_url=f"{your_endpoint_url}",
max_new_tokens=512,
top_k=10,
top_p=0.95,
typical_p=0.95,
temperature=0.01,
repetition_penalty=1.03,
)
llm("What did foo say about bar?")
流式传输
from langchain_core.callbacks import StreamingStdOutCallbackHandler
from langchain_huggingface import HuggingFaceEndpoint
llm = HuggingFaceEndpoint(
endpoint_url=f"{your_endpoint_url}",
max_new_tokens=512,
top_k=10,
top_p=0.95,
typical_p=0.95,
temperature=0.01,
repetition_penalty=1.03,
streaming=True,
)
llm("What did foo say about bar?", callbacks=[StreamingStdOutCallbackHandler()])
同一个 HuggingFaceEndpoint 类可以与提供 LLM 的本地 HuggingFace TGI 实例 一起使用。查看 TGI 存储库，了解有关各种硬件（GPU、TPU、Gaudi ...）支持的详细信息。