回调 | 🦜️🔗 LangChain 框架

📄️ Argilla

Argilla 是一个用于 LLM 的开源数据整理平台。

有两种方法可以使用 Comet 追踪您的 LangChains 执行。

用于 LLM 单元测试的 DeepEval 包。

Context 为 LLM 驱动的产品和功能提供用户分析。

Fiddler 是企业生成式和预测系统运营领域的先驱，提供一个统一平台，使数据科学、MLOps、风险、合规、分析以及其他业务线（LOB）团队能够监控、解释、分析和改进企业规模的机器学习部署。

Infino 是一个可扩展的遥测存储，专为日志、指标和追踪设计。Infino 可以作为独立的观测解决方案，也可以作为您观测堆栈中的存储层。

Label Studio 是一个开源数据标注平台，为 LangChain 在微调大型语言模型（LLMs）数据标注方面提供了灵活性。它还支持准备自定义训练数据，并通过人工反馈收集和评估响应。

LLMonitor 是一个开源观测平台，提供成本和使用分析、用户追踪、追踪和评估工具。

PromptLayer 是一个提示工程平台。它还有助于 LLM 的可观测性，以可视化请求、版本化提示和追踪使用情况。

Amazon SageMaker 是一种完全托管的服务，用于快速轻松地构建、训练和部署机器学习 (ML) 模型。

Streamlit 是一种更快地构建和共享数据应用的方法。

Trubrics 是一个 LLM 用户分析平台，可让您收集、分析和管理用户

在本指南中，我们将介绍如何使用 UpstashRatelimitHandler 根据请求数量或令牌数量添加速率限制。此处理器使用 Upstash 的 ratelimit 库，该库利用 Upstash Redis。

UpTrain [github || website || docs] 是一个用于评估和改进 LLM 应用程序的开源平台。它为 20 多个预配置检查（涵盖语言、代码、嵌入用例）提供评级，对失败案例实例执行根本原因分析，并提供解决指导。