Callbacks | 🦜️🔗 LangChain 框架

📄️ Argilla

Argilla 是一个用于 LLM 的开源数据策展平台。

有两种方法可以使用 Comet 追踪您的 LangChains 执行

DeepEval 包，用于 LLM 的单元测试。

Context 为 LLM 驱动的产品和功能提供用户分析。

Fiddler 是企业生成式和预测系统运维的先驱，提供统一平台，使数据科学、MLOps、风险、合规、分析和其他业务线团队能够在企业规模上监控、解释、分析和改进 ML 部署。

Infino 是一个可扩展的遥测存储，专为日志、指标和追踪而设计。Infino 可以作为独立的观测解决方案，也可以作为您的观测堆栈中的存储层。

Label Studio 是一个开源数据标注平台，在为大型语言模型 (LLM) 标注数据以进行微调时，LangChain 可以灵活使用它。它还可以通过人工反馈来准备自定义训练数据以及收集和评估响应。

LLMonitor 是一个开源可观测性平台，提供成本和使用情况分析、用户跟踪、追踪和评估工具。

PromptLayer 是一个用于提示工程的平台。它还有助于 LLM 的可观测性，以可视化请求、版本提示和跟踪使用情况。

Amazon SageMaker 是一项完全托管的服务，用于快速轻松地构建、训练和部署机器学习 (ML) 模型。

Streamlit 是一种更快构建和共享数据应用程序的方式。

Trubrics 是一个 LLM 用户分析平台，可让您收集、分析和管理用户

在本指南中，我们将介绍如何使用 UpstashRatelimitHandler 添加基于请求数或令牌数的速率限制。此处理程序使用 Upstash 的 ratelimit 库，该库利用 Upstash Redis。

UpTrain [github || website || docs] 是一个开源平台，用于评估和改进 LLM 应用程序。它为 20 多项预配置检查（涵盖语言、代码、嵌入用例）提供评分，对失败案例实例执行根本原因分析，并为解决这些问题提供指导。