Jurassic-2 聊天

AI21 Labs Jurassic on Amazon Bedrock Jurassic 是 AI21 Labs 为企业提供的可靠 FM 系列，为数千个实时应用程序提供支持，可执行复杂的语言生成任务，例如问答、文本生成、搜索和摘要。

先决条件

有关设置 API 访问权限，请参阅 Spring AI Amazon Bedrock 文档。

添加仓库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 仓库中。请参考 仓库 部分，将这些仓库添加到您的构建系统中。

为了帮助进行依赖管理，Spring AI 提供了一个 BOM（物料清单），以确保在整个项目中使用一致版本的 Spring AI。请参考 依赖管理 部分，将 Spring AI BOM 添加到您的构建系统中。

自动配置

将 spring-ai-bedrock-ai-spring-boot-starter 依赖项添加到您的项目的 Maven pom.xml 文件中

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-bedrock-ai-spring-boot-starter</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-bedrock-ai-spring-boot-starter'
}
请参考 依赖管理 部分，将 Spring AI BOM 添加到您的构建文件中。

启用 Jurassic-2

默认情况下，Bedrock Jurassic-2 模型处于禁用状态。要启用它，请将 spring.ai.bedrock.jurassic2.chat.enabled 属性设置为 true。导出环境变量是设置此配置属性的一种方法。

export SPRING_AI_BEDROCK_JURASSIC2_CHAT_ENABLED=true

聊天属性

前缀 spring.ai.bedrock.aws 是用于配置与 AWS Bedrock 连接的属性前缀。

属性 描述 默认值

spring.ai.bedrock.aws.region

要使用的 AWS 区域。

us-east-1

spring.ai.bedrock.aws.timeout

要使用的 AWS 超时时间。

5m

spring.ai.bedrock.aws.access-key

AWS 访问密钥。

-

spring.ai.bedrock.aws.secret-key

AWS 密钥。

-

前缀 spring.ai.bedrock.jurassic2.chat 是用于配置 Jurassic-2 聊天模型实现的属性前缀。

属性 描述 默认值

spring.ai.bedrock.jurassic2.chat.enabled

启用或禁用对 Jurassic-2 的支持

false

spring.ai.bedrock.jurassic2.chat.model

要使用的模型 ID（见下文）

ai21.j2-mid-v1

spring.ai.bedrock.jurassic2.chat.options.temperature

控制输出的随机性。值范围为 [0.0, 1.0]，包含边界。更接近 1.0 的值将产生变化更大的响应，而更接近 0.0 的值通常会导致模型产生更少的意外响应。此值指定在调用模型时后端使用的默认值。

0.7

spring.ai.bedrock.jurassic2.chat.options.top-p

采样时要考虑的令牌的最大累积概率。模型使用组合的 Top-k 和 nucleus 采样。nucleus 采样考虑概率总和至少为 topP 的最小令牌集。

AWS Bedrock 默认值

spring.ai.bedrock.jurassic2.chat.options.max-tokens

指定在生成的响应中使用的最大令牌数。一旦生成的文本超过 maxTokens，模型就会截断响应。

500

查看 Ai21Jurassic2ChatBedrockApi#Ai21Jurassic2ChatModel 以获取其他模型 ID。支持的另一个值为 ai21.j2-ultra-v1。模型 ID 值也可以在 AWS Bedrock 文档中找到基本模型 ID。

所有以 spring.ai.bedrock.jurassic2.chat.options 为前缀的属性都可以在运行时通过在 Prompt 调用中添加特定于请求的 运行时选项 来覆盖。

运行时选项

该 BedrockAi21Jurassic2ChatOptions.java 提供模型配置，例如温度、topP、maxTokens 等。

在启动时，可以使用 BedrockAi21Jurassic2ChatModel(api, options) 构造函数或 spring.ai.bedrock.jurassic2.chat.options.* 属性配置默认选项。

在运行时，您可以通过在 Prompt 调用中添加新的、特定于请求的选项来覆盖默认选项。例如，要覆盖特定请求的默认温度

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        BedrockAi21Jurassic2ChatOptions.builder()
            .withTemperature(0.4)
        .build()
    ));
除了特定于模型的 BedrockAi21Jurassic2ChatOptions 之外，您还可以使用可移植的 ChatOptions 实例，该实例使用 ChatOptionsBuilder#builder() 创建。

示例控制器

创建 一个新的 Spring Boot 项目，并将 spring-ai-bedrock-ai-spring-boot-starter 添加到您的 pom（或 gradle）依赖项中。

在 src/main/resources 目录下添加一个 application.properties 文件，以启用和配置 Jurassic-2 聊天模型

spring.ai.bedrock.aws.region=eu-central-1
spring.ai.bedrock.aws.timeout=1000ms
spring.ai.bedrock.aws.access-key=${AWS_ACCESS_KEY_ID}
spring.ai.bedrock.aws.secret-key=${AWS_SECRET_ACCESS_KEY}

spring.ai.bedrock.jurassic2.chat.enabled=true
spring.ai.bedrock.jurassic2.chat.options.temperature=0.8
将 regions、access-key 和 secret-key 替换为您的 AWS 凭据。

这将创建一个 BedrockAi21Jurassic2ChatModel 实现，您可以将其注入到您的类中。以下是一个使用聊天模型进行文本生成的简单 @Controller 类的示例。

@RestController
public class ChatController {

    private final BedrockAi21Jurassic2ChatModel chatModel;

    @Autowired
    public ChatController(BedrockAi21Jurassic2ChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", chatModel.call(message));
    }

}

手动配置

The BedrockAi21Jurassic2ChatModel 实现 ChatModel 使用 低级客户端 连接到 Bedrock Jurassic-2 服务。

将 spring-ai-bedrock 依赖项添加到项目的 Maven pom.xml 文件中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-bedrock</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-bedrock'
}
请参考 依赖管理 部分，将 Spring AI BOM 添加到您的构建文件中。

接下来，创建一个 BedrockAi21Jurassic2ChatModel 并将其用于文本生成

Ai21Jurassic2ChatBedrockApi api = new Ai21Jurassic2ChatBedrockApi(Ai21Jurassic2ChatModel.AI21_J2_MID_V1.id(),
    EnvironmentVariableCredentialsProvider.create(),
    Region.US_EAST_1.id(),
    new ObjectMapper(),
    Duration.ofMillis(1000L));

BedrockAi21Jurassic2ChatModel chatModel = new BedrockAi21Jurassic2ChatModel(api,
    BedrockAi21Jurassic2ChatOptions.builder()
        .withTemperature(0.5f)
        .withMaxTokens(100)
        .withTopP(0.9f).build());

ChatResponse response = chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

低级客户端

Ai21Jurassic2ChatBedrockApi 在 AWS Bedrock Jurassic-2 和 Jurassic-2 Chat 模型 之上提供了一个轻量级的 Java 客户端。

Ai21Jurassic2ChatBedrockApi 支持 ai21.j2-mid-v1 和 ai21.j2-ultra-v1 模型，并且只支持同步（chatCompletion()）。

以下是如何以编程方式使用 API 的简单代码片段

Ai21Jurassic2ChatBedrockApi jurassic2ChatApi = new Ai21Jurassic2ChatBedrockApi(
        Ai21Jurassic2ChatModel.AI21_J2_MID_V1.id(),
        Region.US_EAST_1.id(),
        Duration.ofMillis(1000L));

Ai21Jurassic2ChatRequest request = Ai21Jurassic2ChatRequest.builder("Hello, my name is")
        .withTemperature(0.9f)
        .withTopP(0.9f)
        .withMaxTokens(20)
        .build();

Ai21Jurassic2ChatResponse response = jurassic2ChatApi.chatCompletion(request);

有关更多信息，请遵循 Ai21Jurassic2ChatBedrockApi.java 的 JavaDoc。