跳到主要内容
Open on GitHub

Javelin AI Gateway

Javelin AI 网关服务是一个高性能、企业级的AI应用API网关。
它旨在通过为所有与LLM的交互提供强大的访问安全性，从而简化组织内部各种大型语言模型（LLM）提供商（如OpenAI、Cohere、Anthropic和自定义大型语言模型）的使用和访问。

Javelin 提供了一个高级接口，通过提供统一的端点来处理特定的LLM相关请求，从而简化了与LLM的交互。

有关更多详细信息，请参阅 Javelin AI 网关文档。
Javelin Python SDK 是一个易于使用的客户端库，旨在嵌入到AI应用程序中。

安装与设置​

安装 javelin_sdk 以与 Javelin AI 网关交互。

pip install 'javelin_sdk'

将 Javelin 的 API 密钥设置为环境变量。

export JAVELIN_API_KEY=...

补全示例​


from langchain.chains import LLMChain
from langchain_community.llms import JavelinAIGateway
from langchain_core.prompts import PromptTemplate

route_completions = "eng_dept03"

gateway = JavelinAIGateway(
    gateway_uri="https://:8000",
    route=route_completions,
    model_name="text-davinci-003",
)

llmchain = LLMChain(llm=gateway, prompt=prompt)
result = llmchain.run("podcast player")

print(result)

嵌入示例​

from langchain_community.embeddings import JavelinAIGatewayEmbeddings
from langchain_openai import OpenAIEmbeddings

embeddings = JavelinAIGatewayEmbeddings(
    gateway_uri="https://:8000",
    route="embeddings",
)

print(embeddings.embed_query("hello"))
print(embeddings.embed_documents(["hello"]))

聊天示例​

from langchain_community.chat_models import ChatJavelinAIGateway
from langchain_core.messages import HumanMessage, SystemMessage

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to French."
    ),
    HumanMessage(
        content="Artificial Intelligence has the power to transform humanity and make the world a better place"
    ),
]

chat = ChatJavelinAIGateway(
    gateway_uri="https://:8000",
    route="mychatbot_route",
    model_name="gpt-3.5-turbo"
    params={
        "temperature": 0.1
    }
)

print(chat(messages))