跳到主要内容
Open on GitHub

Infino

Infino 是一个开源的可观察性平台，可同时存储指标和应用程序日志。

Infino 的主要功能包括：

  • 指标追踪：捕获 LLM 模型处理请求所花费的时间、错误、token 数量以及特定 LLM 的成本指示。
  • 数据追踪：记录和存储每次 LangChain 交互的提示、请求和响应数据。
  • 图表可视化：生成随时间变化的 A 基本图表，描绘请求持续时间、错误发生次数、token 计数和成本等指标。

安装与设置​

首先，您需要安装 infinopy Python 包，如下所示：

pip install infinopy

如果您已经有一个 Infino Server 正在运行，那么您就可以开始了；但如果您没有，请按照以下步骤启动它：

  • 确保您已安装 Docker。
  • 在您的终端中运行以下命令： 
    docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest

使用 Infino​

请参阅InfinoCallbackHandler 的使用示例。

from langchain.callbacks import InfinoCallbackHandler