SambaNova
客户正转向 SambaNova,以快速部署最先进的 AI 能力,从而获得竞争优势。我们专为企业级设计的人工智能平台是下一代 AI 计算的技术支柱。我们赋能基础模型,以解锁数据中蕴藏的宝贵商业洞察。
SambaNova RDU 专为 AI 设计,采用革命性的数据流架构构建。这种设计使 RDU 在处理这些工作负载时比 GPU 效率显著提高,因为它消除了对内存的冗余调用,而这是 GPU 功能固有的局限性。这种内置效率是使 RDU 能够在更小的占用空间内实现远高于 GPU 性能的特点之一。
在此架构之上,我们开发了一些平台,使公司和开发者能够充分利用 RDU 处理器和开源模型的优势。
SambaNovaCloud
SambaNova 的 SambaNova Cloud 是一个用于使用开源模型执行推理的平台。
您可以在此处获取免费的 SambaNovaCloud API 密钥。
SambaStudio
SambaNova 的 SambaStudio 是一个功能丰富的基于 GUI 的平台,提供在 SambaNova DataScale 系统中训练、部署和管理模型的功能。
安装与设置
安装集成包
pip install langchain-sambanova
将您的 API 密钥设置为环境变量
如果您是 SambaNovaCloud 用户
export SAMBANOVA_API_KEY="your-sambanova-cloud-api-key-here"
或者如果您是 SambaStudio 用户
export SAMBASTUDIO_API_KEY="your-sambastudio-api-key-here"
聊天模型
from langchain_sambanova import ChatSambaNovaCloud
llm = ChatSambaNovaCloud(model="Meta-Llama-3.3-70B-Instruct", temperature=0.7)
llm.invoke("Tell me a joke about artificial intelligence.")
有关 ChatSambaNovaCloud 组件的更详细演练,请参阅此笔记本。
from langchain_sambanova import ChatSambaStudio
llm = ChatSambaStudio(model="Meta-Llama-3.3-70B-Instruct", temperature=0.7)
llm.invoke("Tell me a joke about artificial intelligence.")
有关 ChatSambaStudio 组件的更详细演练,请参阅此笔记本。
嵌入模型
from langchain_sambanova import SambaNovaCloudEmbeddings
embeddings = SambaNovaCloudEmbeddings(model="E5-Mistral-7B-Instruct")
embeddings.embed_query("What is the meaning of life?")
有关 SambaNovaCloudEmbeddings 组件的更详细演练,请参阅此笔记本。
from langchain_sambanova import SambaStudioEmbeddings
embeddings = SambaStudioEmbeddings(model="e5-mistral-7b-instruct")
embeddings.embed_query("What is the meaning of life?")
有关 SambaStudioEmbeddings 组件的更详细演练,请参阅此笔记本。
API 参考 langchain-sambanova