📄️ AI21SemanticTextSplitter
此示例介绍了如何在 LangChain 中使用 AI21SemanticTextSplitter。
📄️ Beautiful Soup
Beautiful Soup 是一个用于解析的 Python 包
📄️ 交叉编码器重排序器
此笔记本展示了如何在检索器中使用您自己的 Hugging Face 交叉编码器模型或实现交叉编码器函数的 Hugging Face 模型（示例：BAAI/bge-reranker-base）来实现重排序器。SagemakerEndpointCrossEncoder 使您可以使用加载在 Sagemaker 上的这些 HuggingFace 模型。
📄️ DashScope 重排序器
此笔记本展示了如何使用 DashScope 重排序器进行文档压缩和检索。DashScope 是阿里云（Aliyun）的生成式 AI 服务。
📄️ Doctran: 提取属性
我们可以使用 Doctran 库提取文档的有用特征，该库使用 OpenAI 的函数调用功能来提取特定的元数据。
📄️ Doctran: 审问文档
向量存储知识库中使用的文档通常以叙述或对话格式存储。但是，大多数用户查询都是问题格式。如果我们在向量化文档之前将文档转换为问答格式，我们可以增加检索相关文档的可能性，并降低检索不相关文档的可能性。
📄️ Doctran: 语言翻译
通过嵌入比较文档的好处是可以跨多种语言工作。“Harrison says hello”和“Harrison dice hola”将在向量空间中占据相似的位置，因为它们在语义上具有相同的含义。
📄️ Google Cloud Vertex AI 重排序器
Vertex Search Ranking API 是 Vertex AI Agent Builder 中的独立 API 之一。它接收文档列表，并根据文档与查询的相关性对这些文档进行重排序。与仅查看文档和查询的语义相似性的嵌入相比，排名 API 可以为您提供文档回答给定查询的精确分数。排名 API 可用于在检索初始候选文档集后提高搜索结果的质量。
📄️ Google Cloud Document AI
Document AI 是 Google Cloud 的文档理解平台，用于将文档中的非结构化数据转换为结构化数据，使其更易于理解、分析和使用。
📄️ Google 翻译
Google 翻译是 Google 开发的多语言神经机器翻译服务，用于将文本、文档和网站从一种语言翻译成另一种语言。
📄️ HTML to text
html2text 是一个 Python 包，可将 HTML 页面转换为干净、易于阅读的纯 ASCII 文本。
📄️ Infinity 重排序器
Infinity 是一个高吞吐量、低延迟的 REST API，用于服务文本嵌入、重排序模型和剪辑。
📄️ Jina 重排序器
此笔记本展示了如何使用 Jina Reranker 进行文档压缩和检索。
📄️ Markdownify
markdownify 是一个 Python 包，可将 HTML 文档转换为 Markdown 格式，并提供用于处理标签（链接、图像等）、标题样式等的自定义选项。
📄️ Nuclia
Nuclia 自动索引来自任何内部和外部来源的非结构化数据，提供优化的搜索结果和生成式答案。它可以处理视频和音频转录、图像内容提取和文档解析。
📄️ OpenAI 元数据标记器
用结构化元数据（例如文档的标题、语气或长度）标记摄取的文档通常很有用，以便以后进行更有针对性的相似性搜索。但是，对于大量文档，手动执行此标记过程可能很繁琐。
📄️ OpenVINO 重排序器
OpenVINO™ 是一个用于优化和部署 AI 推理的开源工具包。OpenVINO™ Runtime 支持各种硬件设备，包括 x86 和 ARM CPU 以及 Intel GPU。它可以帮助提高计算机视觉、自动语音识别、自然语言处理和其他常见任务中的深度学习性能。
📄️ RankLLM 重排序器
RankLLM 提供了一套列表式重排序器，尽管重点是针对该任务微调的开源 LLM - RankVicuna 和 RankZephyr 是其中的两个。
📄️ Volcengine 重排序器
此笔记本展示了如何使用 Volcengine Reranker 进行文档压缩和检索。Volcengine 是字节跳动（TikTok 的母公司）开发的云服务平台。
📄️ VoyageAI 重排序器
Voyage AI 提供尖端的嵌入/向量化模型。