Javelin AI 网关

Javelin AI 网关 服务是面向 AI 应用的高性能企业级 API 网关。
它旨在通过为与 LLM 的所有交互整合强大的访问安全性，简化组织内各种大型语言模型 (LLM) 提供商（例如 OpenAI、Cohere、Anthropic 和自定义大型语言模型）的使用和访问。

Javelin 提供了一个高级接口，通过提供统一的端点来处理特定的 LLM 相关请求，从而简化了与 LLM 的交互。

有关更多详细信息，请参阅 Javelin AI 网关文档。
Javelin Python SDK 是一个易于使用的客户端库，旨在嵌入到 AI 应用程序中

安装和设置

安装 javelin_sdk 以与 Javelin AI 网关交互

pip install 'javelin_sdk'

将 Javelin 的 API 密钥设置为环境变量

export JAVELIN_API_KEY=...

补全示例

from langchain.chains import LLMChain
from langchain_community.llms import JavelinAIGateway
from langchain_core.prompts import PromptTemplate

route_completions = "eng_dept03"

gateway = JavelinAIGateway(
    gateway_uri="http://localhost:8000",
    route=route_completions,
    model_name="text-davinci-003",
)

llmchain = LLMChain(llm=gateway, prompt=prompt)
result = llmchain.run("podcast player")

print(result)

API 参考：LLMChain | JavelinAIGateway | PromptTemplate

嵌入示例

from langchain_community.embeddings import JavelinAIGatewayEmbeddings
from langchain_openai import OpenAIEmbeddings

embeddings = JavelinAIGatewayEmbeddings(
    gateway_uri="http://localhost:8000",
    route="embeddings",
)

print(embeddings.embed_query("hello"))
print(embeddings.embed_documents(["hello"]))

API 参考：JavelinAIGatewayEmbeddings | OpenAIEmbeddings

聊天示例

from langchain_community.chat_models import ChatJavelinAIGateway
from langchain_core.messages import HumanMessage, SystemMessage

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to French."
    ),
    HumanMessage(
        content="Artificial Intelligence has the power to transform humanity and make the world a better place"
    ),
]

chat = ChatJavelinAIGateway(
    gateway_uri="http://localhost:8000",
    route="mychatbot_route",
    model_name="gpt-3.5-turbo"
    params={
        "temperature": 0.1
    }
)

print(chat(messages))

API 参考：ChatJavelinAIGateway | HumanMessage | SystemMessage