Pipeshift
Pipeshift 是一个用于开源大型语言模型(LLM)的微调和推理平台
- 您只需提供数据集,即可对多个大型语言模型进行微调。一键开始推理,并观察它们扩展到数百万用户。
安装与设置
-
安装 Pipeshift 集成包。
pip install langchain-pipeshift
-
通过在 Pipeshift 注册获取您的 Pipeshift API 密钥。
认证
您可以通过以下任意方式使用 Pipeshift API 密钥进行身份验证:
-
将 API 密钥添加到环境变量
PIPESHIFT_API_KEY
中。os.environ["PIPESHIFT_API_KEY"] = "<your_api_key>"
-
通过将
api_key
传递给 pipeshift LLM 模块或聊天模块。llm = Pipeshift(api_key="<your_api_key>", model="meta-llama/Meta-Llama-3.1-8B-Instruct", max_tokens=512)
OR
chat = ChatPipeshift(api_key="<your_api_key>", model="meta-llama/Meta-Llama-3.1-8B-Instruct", max_tokens=512)
聊天模型
查看示例。
from langchain_pipeshift import ChatPipeshift
LLM
查看示例。
from langchain_pipeshift import Pipeshift