Groq

Groq开发了世界首个语言处理单元™，或 LPU。Groq LPU 具有确定性的单核流式架构，为 GenAI 推理速度设定了标准，针对任何给定的工作负载，都具有可预测和可重复的性能。

除了架构之外，Groq 软件旨在为您这样的开发者提供所需的工具，以创建创新、强大的 AI 应用程序。

以 Groq 作为您的引擎，您可以

• 为实时 AI 和 HPC 推理实现毫不妥协的低延迟和高性能 🔥
• 了解任何给定工作负载的确切性能和计算时间 🔮
• 利用我们的尖端技术，在竞争中保持领先 💪

安装和设置

安装集成包

pip install langchain-groq

请求一个 API 密钥 并将其设置为环境变量

export GROQ_API_KEY=gsk_...

聊天模型

查看使用示例。

from langchain_groq import ChatGroq

API 参考:ChatGroq