Konko
与 Konko 相关的所有功能
Konko AI 提供完全托管的 API,以帮助应用程序开发者
- 选择适合其应用程序的开源或专有大型语言模型 (LLM)
- 通过与领先的应用程序框架和完全托管的 API 集成,更快地构建应用程序
- 微调较小的开源大型语言模型 (LLM),以极低的成本实现行业领先的性能
- 使用 Konko AI 符合 SOC 2 标准的多云基础设施,无需基础设施设置或管理,即可部署生产规模的 API,满足安全性、隐私性、吞吐量和延迟服务水平协议 (SLA)
安装与设置
pip install konko
- 将 API 密钥设置为环境变量 (
KONKO_API_KEY
,OPENAI_API_KEY
)
export KONKO_API_KEY={your_KONKO_API_KEY_here}
export OPENAI_API_KEY={your_OPENAI_API_KEY_here} #Optional
请参阅Konko 文档了解更多详情。
LLM
探索可用模型: 首先浏览 Konko 上可用的模型。每个模型都适用于不同的用例和功能。
另一种查找 Konko 实例上运行的模型列表的方法是通过此端点。
请参阅使用示例。
端点使用示例
-
使用 mistralai/Mistral-7B-v0.1 进行补全
from langchain_community.llms import Konko
llm = Konko(max_tokens=800, model='mistralai/Mistral-7B-v0.1')
prompt = "Generate a Product Description for Apple Iphone 15"
response = llm.invoke(prompt)
聊天模型
请参阅使用示例。
-
使用 Mistral-7B 进行聊天补全
from langchain_core.messages import HumanMessage
from langchain_community.chat_models import ChatKonko
chat_instance = ChatKonko(max_tokens=10, model = 'mistralai/mistral-7b-instruct-v0.1')
msg = HumanMessage(content="Hi")
chat_response = chat_instance([msg])
如需进一步帮助,请联系 support@konko.ai 或加入我们的 Discord。