跳到主要内容
Open on GitHub

AWS

Amazon AWS 平台相关的 LangChain 集成。

第一方 AWS 集成在 langchain_aws 包中可用。

pip install langchain-aws

还有一些社区集成在 langchain_community 包中可用,带有 boto3 可选依赖项。

pip install langchain-community boto3

聊天模型

Bedrock 聊天

Amazon Bedrock 是一项完全托管的服务,它通过单一 API 提供来自领先 AI 公司(如 AI21 LabsAnthropicCohereMetaStability AIAmazon)的一系列高性能基础模型 (FM),以及构建生成式 AI 应用程序所需的广泛功能,包括安全性、隐私和负责任的 AI。使用 Amazon Bedrock,您可以轻松地为您的用例试验和评估顶级 FM,使用微调和 Retrieval Augmented Generation (RAG) 等技术使用您的数据私下自定义它们,并构建使用您的企业系统和数据源执行任务的代理。由于 Amazon Bedrock 是无服务器的,您无需管理任何基础设施,并且可以使用您已经熟悉的 AWS 服务安全地将生成式 AI 功能集成和部署到您的应用程序中。

参见使用示例

from langchain_aws import ChatBedrock
API 参考:ChatBedrock

Bedrock Converse

AWS 最近发布了 Bedrock Converse API,它为 Bedrock 模型提供了统一的对话式接口。此 API 尚不支持自定义模型。您可以查看所有此处支持的模型列表。为了提高可靠性,ChatBedrock 集成将在 Bedrock Converse API 与现有 Bedrock API 具有功能对等性后立即切换到使用该 API。在此之前,已发布单独的 ChatBedrockConverse 集成。

我们建议不需要使用自定义模型的用户使用 ChatBedrockConverse。有关更多详细信息,请参阅 文档API 参考

from langchain_aws import ChatBedrockConverse
API 参考:ChatBedrockConverse

LLMs

Bedrock

参见使用示例

from langchain_aws import BedrockLLM
API 参考:BedrockLLM

Amazon API Gateway

Amazon API Gateway 是一项完全托管的服务,使开发人员可以轻松地创建、发布、维护、监控和保护任何规模的 API。API 充当应用程序访问后端服务中的数据、业务逻辑或功能的“前门”。使用 API Gateway,您可以创建 RESTful API 和 WebSocket API,以实现实时的双向通信应用程序。API Gateway 支持容器化和无服务器工作负载以及 Web 应用程序。

API Gateway 处理接受和处理多达数十万个并发 API 调用的所有任务,包括流量管理、CORS 支持、授权和访问控制、限制、监控和 API 版本管理。API Gateway 没有最低费用或启动成本。您只需为您收到的 API 调用和传输出的数据量付费,并且通过 API Gateway 分层定价模型,您可以随着 API 使用量的增加而降低成本。

参见使用示例

from langchain_community.llms import AmazonAPIGateway
API 参考:AmazonAPIGateway

SageMaker Endpoint

Amazon SageMaker 是一个系统,可以使用完全托管的基础设施、工具和工作流程来构建、训练和部署机器学习 (ML) 模型。

我们使用 SageMaker 来托管我们的模型并将其公开为 SageMaker Endpoint

参见使用示例

from langchain_aws import SagemakerEndpoint
API 参考:SagemakerEndpoint

嵌入模型

Bedrock

参见使用示例

from langchain_aws import BedrockEmbeddings
API 参考:BedrockEmbeddings

SageMaker Endpoint

参见使用示例

from langchain_community.embeddings import SagemakerEndpointEmbeddings
from langchain_community.llms.sagemaker_endpoint import ContentHandlerBase

文档加载器

AWS S3 目录和文件

Amazon Simple Storage Service (Amazon S3) 是一种对象存储服务。AWS S3 目录 AWS S3 存储桶

参见 S3DirectoryLoader 的使用示例

参见 S3FileLoader 的使用示例

from langchain_community.document_loaders import S3DirectoryLoader, S3FileLoader

Amazon Textract

Amazon Textract 是一种机器学习 (ML) 服务,可自动从扫描文档中提取文本、手写内容和数据。

参见使用示例

from langchain_community.document_loaders import AmazonTextractPDFLoader

Amazon Athena

Amazon Athena 是一种无服务器交互式分析服务,构建在开源框架之上,支持开放表和文件格式。

参见使用示例

from langchain_community.document_loaders.athena import AthenaLoader
API 参考:AthenaLoader

AWS Glue

AWS Glue Data Catalog 是一个集中的元数据存储库,允许您管理、访问和共享有关存储在 AWS 中的数据的元数据。它充当数据资产的元数据存储,使各种 AWS 服务和您的应用程序能够有效地查询和连接到它们所需的数据。

参见使用示例

from langchain_community.document_loaders.glue_catalog import GlueCatalogLoader
API 参考:GlueCatalogLoader

向量存储

Amazon OpenSearch Service

Amazon OpenSearch Service 执行交互式日志分析、实时应用程序监控、网站搜索等。OpenSearch 是一个开源的、分布式的搜索和分析套件,源自 ElasticsearchAmazon OpenSearch Service 提供最新版本的 OpenSearch,支持多个版本的 Elasticsearch,以及由 OpenSearch DashboardsKibana 提供支持的可视化功能。

我们需要安装几个 python 库。

pip install boto3 requests requests-aws4auth

请参阅使用示例

from langchain_community.vectorstores import OpenSearchVectorSearch

Amazon DocumentDB (与 MongoDB 兼容) 让您可以在云中轻松设置、操作和扩展与 MongoDB 兼容的数据库。借助 Amazon DocumentDB,您可以运行相同的应用程序代码,并使用与 MongoDB 相同的驱动程序和工具。Amazon DocumentDB 的向量搜索结合了基于 JSON 的文档数据库的灵活性和丰富的查询功能以及向量搜索的强大功能。

安装和设置

请参阅详细配置说明

我们需要安装 pymongo python 包。

pip install pymongo

在 AWS 上部署 DocumentDB

Amazon DocumentDB (与 MongoDB 兼容) 是一项快速、可靠且完全托管的数据库服务。Amazon DocumentDB 让您可以在云中轻松设置、操作和扩展与 MongoDB 兼容的数据库。

AWS 提供计算、数据库、存储、分析和其他功能的服务。有关所有 AWS 服务的概述,请参阅Amazon Web Services 云计算

请参阅使用示例

from langchain_community.vectorstores import DocumentDBVectorSearch

Amazon MemoryDB

Amazon MemoryDB 是一项持久的内存数据库服务,可提供超快的性能。MemoryDB 与 Redis OSS(一种流行的开源数据存储)兼容,使您能够使用他们今天已经使用的相同灵活且友好的 Redis OSS API 和命令快速构建应用程序。

InMemoryVectorStore 类提供了一个 vectorstore 来连接 Amazon MemoryDB。

from langchain_aws.vectorstores.inmemorydb import InMemoryVectorStore

vds = InMemoryVectorStore.from_documents(
chunks,
embeddings,
redis_url="rediss://cluster_endpoint:6379/ssl=True ssl_cert_reqs=none",
vector_schema=vector_schema,
index_name=INDEX_NAME,
)
API 参考:InMemoryVectorStore

请参阅使用示例

检索器

Amazon Kendra

Amazon Kendra 是由 Amazon Web Services (AWS) 提供的智能搜索服务。它利用先进的自然语言处理 (NLP) 和机器学习算法,在组织内的各种数据源中实现强大的搜索功能。Kendra 旨在帮助用户快速准确地找到他们需要的信息,从而提高生产力和决策效率。

借助 Kendra,我们可以搜索各种内容类型,包括文档、常见问题解答、知识库、手册和网站。它支持多种语言,可以理解复杂的查询、同义词和上下文含义,以提供高度相关的搜索结果。

我们需要安装 langchain-aws 库。

pip install langchain-aws

请参阅使用示例

from langchain_aws import AmazonKendraRetriever

Amazon Bedrock (知识库)

Amazon Bedrock 的知识库Amazon Web Services (AWS) 提供的一项服务,它允许您通过使用您的私有数据自定义基础模型响应来快速构建 RAG 应用程序。

我们需要安装 langchain-aws 库。

pip install langchain-aws

请参阅使用示例

from langchain_aws import AmazonKnowledgeBasesRetriever

工具

AWS Lambda

Amazon AWS LambdaAmazon Web Services (AWS) 提供的无服务器计算服务。它可以帮助开发人员构建和运行应用程序和服务,而无需配置或管理服务器。这种无服务器架构使您可以专注于编写和部署代码,而 AWS 会自动处理扩展、修补和管理运行应用程序所需的基础设施。

我们需要安装 boto3 python 库。

pip install boto3

请参阅使用示例

内存

AWS DynamoDB

AWS DynamoDB 是一项完全托管的 NoSQL 数据库服务,可提供快速且可预测的性能以及无缝的可扩展性。

我们必须配置 AWS CLI

我们需要安装 boto3 库。

pip install boto3

请参阅使用示例

from langchain_community.chat_message_histories import DynamoDBChatMessageHistory

Amazon Neptune

Amazon Neptune 是一款高性能图形分析和无服务器数据库,可实现卓越的可扩展性和可用性。

对于下面的 Cypher 和 SPARQL 集成,我们需要安装 langchain-aws 库。

pip install langchain-aws

带有 Cypher 的 Amazon Neptune

请参阅使用示例

from langchain_aws.graphs import NeptuneGraph
from langchain_aws.graphs import NeptuneAnalyticsGraph
from langchain_aws.chains import create_neptune_opencypher_qa_chain

带有 SPARQL 的 Amazon Neptune

请参阅使用示例

from langchain_aws.graphs import NeptuneRdfGraph
from langchain_aws.chains import create_neptune_sparql_qa_chain

回调

Bedrock 令牌使用情况

from langchain_community.callbacks.bedrock_anthropic_callback import BedrockAnthropicTokenUsageCallbackHandler

SageMaker 跟踪

Amazon SageMaker 是一项完全托管的服务,用于快速轻松地构建、训练和部署机器学习 (ML) 模型。

Amazon SageMaker ExperimentsAmazon SageMaker 的一项功能,可让您组织、跟踪、比较和评估 ML 实验和模型版本。

我们需要安装几个 python 库。

pip install google-search-results sagemaker

请参阅使用示例

from langchain_community.callbacks import SageMakerCallbackHandler

Amazon Comprehend 审核链

Amazon Comprehend 是一项自然语言处理 (NLP) 服务,它使用机器学习来揭示文本中宝贵的见解和联系。

我们需要安装 boto3nltk 库。

pip install boto3 nltk

请参阅使用示例

from langchain_experimental.comprehend_moderation import AmazonComprehendModerationChain

此页面是否对您有帮助?