Groq
Groq开发了世界上第一个语言处理单元™或
LPU
。Groq LPU
具有确定性的单核流式架构,为 GenAI 推理速度设定了标准,对于任何给定的工作负载,都具有可预测和可重复的性能。除了架构之外,
Groq
软件旨在为像您这样的开发人员提供所需的工具,以创建创新、强大的 AI 应用程序。以 Groq 作为您的引擎,您可以
- 为实时 AI 和 HPC 推理实现不妥协的低延迟和高性能 🔥
- 了解任何给定工作负载的确切性能和计算时间 🔮
- 利用我们的尖端技术保持竞争优势 💪
安装和设置
安装集成包
pip install langchain-groq
请求一个 API 密钥 并将其设置为环境变量
export GROQ_API_KEY=gsk_...
聊天模型
查看使用示例。
from langchain_groq import ChatGroq
API 参考:ChatGroq