跳到主要内容
Open In ColabOpen on GitHub

SambaNova

客户正转向 SambaNova,以快速部署最先进的 AI 能力,从而获得竞争优势。我们专为企业级设计的人工智能平台是下一代 AI 计算的技术支柱。我们赋能基础模型,以解锁数据中蕴藏的宝贵商业洞察。

SambaNova RDU 专为 AI 设计,采用革命性的数据流架构构建。这种设计使 RDU 在处理这些工作负载时比 GPU 效率显著提高,因为它消除了对内存的冗余调用,而这是 GPU 功能固有的局限性。这种内置效率是使 RDU 能够在更小的占用空间内实现远高于 GPU 性能的特点之一。

在此架构之上,我们开发了一些平台,使公司和开发者能够充分利用 RDU 处理器和开源模型的优势。

SambaNovaCloud

SambaNova 的 SambaNova Cloud 是一个用于使用开源模型执行推理的平台。

您可以在此处获取免费的 SambaNovaCloud API 密钥。

SambaStudio

SambaNova 的 SambaStudio 是一个功能丰富的基于 GUI 的平台,提供在 SambaNova DataScale 系统中训练、部署和管理模型的功能。

安装与设置

安装集成包

pip install langchain-sambanova

将您的 API 密钥设置为环境变量

如果您是 SambaNovaCloud 用户

export SAMBANOVA_API_KEY="your-sambanova-cloud-api-key-here"

或者如果您是 SambaStudio 用户

export SAMBASTUDIO_API_KEY="your-sambastudio-api-key-here"

聊天模型

from langchain_sambanova import ChatSambaNovaCloud

llm = ChatSambaNovaCloud(model="Meta-Llama-3.3-70B-Instruct", temperature=0.7)
llm.invoke("Tell me a joke about artificial intelligence.")

有关 ChatSambaNovaCloud 组件的更详细演练,请参阅此笔记本

from langchain_sambanova import ChatSambaStudio

llm = ChatSambaStudio(model="Meta-Llama-3.3-70B-Instruct", temperature=0.7)
llm.invoke("Tell me a joke about artificial intelligence.")

有关 ChatSambaStudio 组件的更详细演练,请参阅此笔记本

嵌入模型

from langchain_sambanova import SambaNovaCloudEmbeddings

embeddings = SambaNovaCloudEmbeddings(model="E5-Mistral-7B-Instruct")
embeddings.embed_query("What is the meaning of life?")

有关 SambaNovaCloudEmbeddings 组件的更详细演练,请参阅此笔记本

from langchain_sambanova import SambaStudioEmbeddings

embeddings = SambaStudioEmbeddings(model="e5-mistral-7b-instruct")
embeddings.embed_query("What is the meaning of life?")

有关 SambaStudioEmbeddings 组件的更详细演练,请参阅此笔记本

API 参考 langchain-sambanova