Bedrock

注意

您当前位于一个页面，该页面记录了将 Amazon Bedrock 模型用作 文本完成模型。Bedrock 上提供的大多数流行模型都是 聊天完成模型。

您可能在寻找 此页面。

Amazon Bedrock 是一种完全托管的服务，它通过单个 API 提供来自领先 AI 公司（如 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon）的选择高性能基础模型 (FM)，以及构建生成式 AI 应用程序所需的安全、隐私和负责任 AI 的广泛功能。使用 Amazon Bedrock，您可以轻松地试验和评估最适合您用例的顶级 FM，使用微调和 检索增强生成 (RAG) 等技术使用您的数据私下定制它们，并构建使用您的企业系统和数据源执行任务的代理。由于 Amazon Bedrock 是无服务器的，因此您无需管理任何基础设施，并且可以使用您已经熟悉的 AWS 服务安全地将生成式 AI 功能集成和部署到您的应用程序中。

%pip install --upgrade --quiet langchain_aws

from langchain_aws import BedrockLLM

llm = BedrockLLM(
    credentials_profile_name="bedrock-admin", model_id="amazon.titan-text-express-v1"
)

自定义模型

custom_llm = BedrockLLM(
    credentials_profile_name="bedrock-admin",
    provider="cohere",
    model_id="<Custom model ARN>",  # ARN like 'arn:aws:bedrock:...' obtained via provisioning the custom model
    model_kwargs={"temperature": 1},
    streaming=True,
)

custom_llm.invoke(input="What is the recipe of mayonnaise?")

Amazon Bedrock 的安全措施

Amazon Bedrock 的安全措施 根据用例特定的策略评估用户输入和模型响应，并提供额外的安全保护层，无论底层模型如何。安全措施可以应用于所有模型，包括 Anthropic Claude、Meta Llama 2、Cohere Command、AI21 Labs Jurassic 和 Amazon Titan Text，以及微调模型。注意：Amazon Bedrock 的安全措施目前处于预览阶段，尚未普遍发布。如果您想访问此功能，请联系您的 AWS 支持人员。在本节中，我们将使用包含跟踪功能的安全措施设置一个 Bedrock 语言模型。

from typing import Any

from langchain_core.callbacks import AsyncCallbackHandler


class BedrockAsyncCallbackHandler(AsyncCallbackHandler):
    # Async callback handler that can be used to handle callbacks from langchain.

    async def on_llm_error(self, error: BaseException, **kwargs: Any) -> Any:
        reason = kwargs.get("reason")
        if reason == "GUARDRAIL_INTERVENED":
            print(f"Guardrails: {kwargs}")


# Guardrails for Amazon Bedrock with trace
llm = BedrockLLM(
    credentials_profile_name="bedrock-admin",
    model_id="<Model_ID>",
    model_kwargs={},
    guardrails={"id": "<Guardrail_ID>", "version": "<Version>", "trace": True},
    callbacks=[BedrockAsyncCallbackHandler()],
)

API 参考：AsyncCallbackHandler

相关

• LLM 概念指南
• LLM 操作指南