阿里云 PAI EAS
阿里云 PAI（人工智能平台） 是一个轻量级且经济高效的机器学习平台，它使用云原生技术。它为您提供端到端的建模服务。它能够在超过 100 种场景中，基于数百亿个特征和数千亿个样本加速模型训练。
阿里云机器学习平台 for AI 是一个面向企业和开发人员的机器学习或深度学习工程平台。它提供易于使用、经济高效、高性能且易于扩展的插件，可应用于各种行业场景。凭借超过 140 种内置优化算法，
机器学习平台 for AI提供了全流程 AI 工程能力，包括数据标注 (PAI-iTAG)、模型构建 (PAI-Designer和PAI-DSW)、模型训练 (PAI-DLC)、编译优化和推理部署 (PAI-EAS)。
PAI-EAS支持不同类型的硬件资源，包括 CPU 和 GPU，并具有高吞吐量和低延迟的特点。它允许您只需点击几下即可部署大规模复杂模型，并实时执行弹性伸缩和缩容。它还提供了一个全面的运维和监控系统。
设置 EAS 服务
设置环境变量以初始化 EAS 服务 URL 和令牌。使用此文档了解更多信息。
export EAS_SERVICE_URL=XXX
export EAS_SERVICE_TOKEN=XXX
另一种选择是使用此代码
import os
from langchain_community.chat_models import PaiEasChatEndpoint
from langchain_core.language_models.chat_models import HumanMessage
os.environ["EAS_SERVICE_URL"] = "Your_EAS_Service_URL"
os.environ["EAS_SERVICE_TOKEN"] = "Your_EAS_Service_Token"
chat = PaiEasChatEndpoint(
eas_service_url=os.environ["EAS_SERVICE_URL"],
eas_service_token=os.environ["EAS_SERVICE_TOKEN"],
)
API 参考：PaiEasChatEndpoint | HumanMessage
运行聊天模型
您可以使用默认设置来调用 EAS 服务，如下所示
output = chat.invoke([HumanMessage(content="write a funny joke")])
print("output:", output)
或者，使用新的推理参数调用 EAS 服务
kwargs = {"temperature": 0.8, "top_p": 0.8, "top_k": 5}
output = chat.invoke([HumanMessage(content="write a funny joke")], **kwargs)
print("output:", output)
或者，运行流式调用以获取流式响应
outputs = chat.stream([HumanMessage(content="hi")], streaming=True)
for output in outputs:
print("stream output:", output)