OpenAI 聊天

Spring AI 支持 ChatGPT,即 OpenAI 的 AI 语言模型。ChatGPT 在激发人们对 AI 驱动的文本生成感兴趣方面发挥了重要作用,这要归功于它创建的行业领先的文本生成模型和嵌入。

先决条件

你需要使用 OpenAI 创建一个 API 来访问 ChatGPT 模型。在 OpenAI 注册页面 创建一个帐户,并在 API 密钥页面 上生成令牌。Spring AI 项目定义了一个名为 spring.ai.openai.api-key 的配置属性,你应将其设置为从 openai.com 获得的 API 密钥 的值。导出环境变量是一种设置该配置属性的方法

export SPRING_AI_OPENAI_API_KEY=<INSERT KEY HERE>

添加存储库和 BOM

Spring AI 工件发布在 Spring Milestone 和 Snapshot 存储库中。请参阅存储库部分,将这些存储库添加到您的构建系统中。

为了帮助进行依赖管理,Spring AI 提供了一个 BOM(物料清单),以确保在整个项目中使用一致版本的 Spring AI。请参阅依赖管理部分,将 Spring AI BOM 添加到您的构建系统中。

自动配置

Spring AI 为 OpenAI 聊天客户端提供 Spring Boot 自动配置。要启用它,请将以下依赖项添加到项目的 Maven pom.xml 文件中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

或添加到 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai-spring-boot-starter'
}
请参阅依赖管理部分,将 Spring AI BOM 添加到您的构建文件中。

聊天属性

重试属性

前缀 spring.ai.retry 用作属性前缀,可用于配置 OpenAI 聊天模型的重试机制。

属性 说明 默认值

spring.ai.retry.max-attempts

最大重试次数。

10

spring.ai.retry.backoff.initial-interval

指数退避策略的初始休眠持续时间。

2 秒。

spring.ai.retry.backoff.multiplier

退避间隔乘数。

5

spring.ai.retry.backoff.max-interval

最大退避持续时间。

3 分钟。

spring.ai.retry.on-client-errors

如果为 false,则抛出 NonTransientAiException,并且不尝试对4xx客户端错误代码进行重试

false

spring.ai.retry.exclude-on-http-codes

不应触发重试的 HTTP 状态代码列表(例如,抛出 NonTransientAiException)。

spring.ai.retry.on-http-codes

应触发重试的 HTTP 状态代码列表(例如,抛出 TransientAiException)。

连接属性

前缀 spring.ai.openai 用作属性前缀,可用于连接到 OpenAI。

属性 说明 默认值

spring.ai.openai.base-url

要连接到的 URL

api.openai.com

spring.ai.openai.api-key

API 密钥

-

配置属性

前缀 spring.ai.openai.chat 是用于配置 OpenAI 的聊天模型实现的属性前缀。

属性 说明 默认值

spring.ai.openai.chat.enabled

启用 OpenAI 聊天模型。

true

spring.ai.openai.chat.base-url

可选,覆盖 spring.ai.openai.base-url 以提供特定于聊天的 URL

-

spring.ai.openai.chat.api-key

可选,覆盖 spring.ai.openai.api-key 以提供特定于聊天的 api-key

-

spring.ai.openai.chat.options.model

这是要使用的 OpenAI 聊天模型。gpt-4ogpt-4-turbogpt-4-turbo-2024-04-09gpt-4-0125-previewgpt-4-turbo-previewgpt-4-vision-previewgpt-4-32kgpt-3.5-turbogpt-3.5-turbo-0125gpt-3.5-turbo-1106。有关更多信息,请参阅 模型 页面。

gpt-3.5-turbo

spring.ai.openai.chat.options.temperature

用于控制生成完成的明显创造力的采样温度。较高的值会使输出更加随机,而较低的值会使结果更加集中和确定。不建议为相同的完成请求修改温度和 top_p,因为这两个设置的交互难以预测。

0.8

spring.ai.openai.chat.options.frequencyPenalty

-2.0 到 2.0 之间的数字。正值会根据新令牌在文本中迄今为止的现有频率对其进行惩罚,从而降低模型逐字重复同一行的可能性。

0.0f

spring.ai.openai.chat.options.logitBias

修改指定令牌出现在完成中的可能性。

-

spring.ai.openai.chat.options.maxTokens

聊天完成中要生成的令牌的最大数量。输入令牌和生成令牌的总长度受模型的上下文长度限制。

-

spring.ai.openai.chat.options.n

为每个输入消息生成多少个聊天完成选项。请注意,您将根据所有选项中生成令牌的数量收费。将 n 保持为 1 以最大程度地降低成本。

1

spring.ai.openai.chat.options.presencePenalty

-2.0 到 2.0 之间的数字。正值会根据新令牌是否出现在迄今为止的文本中对其进行惩罚,从而增加模型讨论新主题的可能性。

-

spring.ai.openai.chat.options.responseFormat

指定模型必须输出的格式的对象。将设置设置为 { "type": "json_object" } 可启用 JSON 模式,这可确保模型生成的消息是有效的 JSON。

-

spring.ai.openai.chat.options.seed

此功能处于测试阶段。如果指定,我们的系统将尽最大努力确定性地进行采样,以便使用相同种子和参数的重复请求应返回相同的结果。

-

spring.ai.openai.chat.options.stop

最多 4 个序列,其中 API 将停止生成更多令牌。

-

spring.ai.openai.chat.options.topP

一种替代温度采样的采样方式,称为核采样,其中模型考虑具有 top_p 概率质量的令牌的结果。因此,0.1 意味着仅考虑包含前 10% 概率质量的令牌。我们通常建议更改此值或温度,但不要同时更改两者。

-

spring.ai.openai.chat.options.tools

模型可以调用的工具列表。目前,仅支持将函数用作工具。使用此功能提供模型可以为其生成 JSON 输入的函数列表。

-

spring.ai.openai.chat.options.toolChoice

控制模型调用哪个(如果有)函数。none 意味着模型不会调用函数,而是生成消息。auto 意味着模型可以在生成消息或调用函数之间进行选择。通过 {"type: "function", "function": {"name": "my_function"}} 指定特定函数会强制模型调用该函数。当没有函数时,none 是默认值。如果存在函数,则 auto 是默认值。

-

spring.ai.openai.chat.options.user

表示最终用户的唯一标识符,它可以帮助 OpenAI 监控和检测滥用行为。

-

spring.ai.openai.chat.options.functions

按名称标识的函数列表,用于在单个提示请求中启用函数调用。具有这些名称的函数必须存在于 functionCallbacks 注册表中。

-

您可以覆盖 ChatModel 和 EmbeddingModel 实现的通用 spring.ai.openai.base-urlspring.ai.openai.api-key。如果设置了 spring.ai.openai.chat.base-urlspring.ai.openai.chat.api-key 属性,则优先于通用属性。如果您想为不同的模型和不同的模型端点使用不同的 OpenAI 帐户,这将非常有用。
所有以 spring.ai.openai.chat.options 为前缀的属性都可以通过向 Prompt 调用添加特定于请求的 运行时选项 来在运行时覆盖。

运行时选项

OpenAiChatOptions.java 提供模型配置,例如要使用的模型、温度、频率惩罚等。

在启动时,可以使用 OpenAiChatModel(api, options) 构造函数或 spring.ai.openai.chat.options.* 属性配置默认选项。

在运行时,您可以通过向 Prompt 调用添加新的特定于请求的选项来覆盖默认选项。例如,为特定请求覆盖默认模型和温度

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        OpenAiChatOptions.builder()
            .withModel("gpt-4-32k")
            .withTemperature(0.4)
        .build()
    ));
除了特定于模型的 OpenAiChatOptions 之外,您还可以使用便携式 ChatOptions 实例,使用 ChatOptionsBuilder#builder() 创建。

函数调用

您可以使用 OpenAiChatModel 注册自定义 Java 函数,并让 OpenAI 模型智能地选择输出一个 JSON 对象,其中包含调用一个或多个已注册函数的参数。这是一种将 LLM 功能与外部工具和 API 连接起来的强大技术。阅读有关 OpenAI 函数调用 的更多信息。

多模态

多模态是指模型同时理解和处理来自各种来源的信息的能力,包括文本、图像、音频和其他数据格式。目前,OpenAI gpt-4-visual-previewgpt-4o 模型提供多模态支持。有关更多信息,请参阅视觉指南。

OpenAI 用户消息 API 可以将 base64 编码图像或图像 URL 的列表与消息合并。Spring AI 的Message 接口通过引入Media 类型来促进多模态 AI 模型。此类型包含有关消息中媒体附件的数据和详细信息,利用 Spring 的 org.springframework.util.MimeTypejava.lang.Object 获取原始媒体数据。

以下是摘自OpenAiChatModelIT.java 的代码示例,展示了如何使用 GPT_4_VISION_PREVIEW 模型将用户文本与图像融合。

byte[] imageData = new ClassPathResource("/multimodal.test.png").getContentAsByteArray();

var userMessage = new UserMessage("Explain what do you see on this picture?",
        List.of(new Media(MimeTypeUtils.IMAGE_PNG, imageData)));

ChatResponse response = chatModel.call(new Prompt(List.of(userMessage),
        OpenAiChatOptions.builder().withModel(OpenAiApi.ChatModel.GPT_4_VISION_PREVIEW.getValue()).build()));

或使用 GPT_4_O 模型的图像 URL 等效项

var userMessage = new UserMessage("Explain what do you see on this picture?",
        List.of(new Media(MimeTypeUtils.IMAGE_PNG,
                "https://docs.springjava.cn/spring-ai/reference/1.0-SNAPSHOT/_images/multimodal.test.png")));

ChatResponse response = chatModel.call(new Prompt(List.of(userMessage),
        OpenAiChatOptions.builder().withModel(OpenAiApi.ChatModel.GPT_4_O.getValue()).build()));
你还可以传递多张图像。

它以 multimodal.test.png 图像作为输入

Multimodal Test Image

以及文本消息“解释一下你在这张图片上看到了什么?”,并生成类似这样的响应

This is an image of a fruit bowl with a simple design. The bowl is made of metal with curved wire edges that
create an open structure, allowing the fruit to be visible from all angles. Inside the bowl, there are two
yellow bananas resting on top of what appears to be a red apple. The bananas are slightly overripe, as
indicated by the brown spots on their peels. The bowl has a metal ring at the top, likely to serve as a handle
for carrying. The bowl is placed on a flat surface with a neutral-colored background that provides a clear
view of the fruit inside.

示例控制器

创建一个新的 Spring Boot 项目,并将 spring-ai-openai-spring-boot-starter 添加到你的 pom(或 gradle)依赖项中。

src/main/resources 目录下添加一个 application.properties 文件,以启用和配置 OpenAi 聊天模型

spring.ai.openai.api-key=YOUR_API_KEY
spring.ai.openai.chat.options.model=gpt-3.5-turbo
spring.ai.openai.chat.options.temperature=0.7
用你的 OpenAI 凭证替换 api-key

这将创建一个 OpenAiChatModel 实现,你可以将其注入到你的类中。以下是一个简单的 @Controller 类的示例,它使用聊天模型进行文本生成。

@RestController
public class ChatController {

    private final OpenAiChatModel chatModel;

    @Autowired
    public ChatController(OpenAiChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return chatModel.stream(prompt);
    }
}

手动配置

OpenAiChatModel 实现 ChatModelStreamingChatModel,并使用低级 OpenAiApi 客户端 连接到 OpenAI 服务。

spring-ai-openai 依赖项添加到项目的 Maven pom.xml 文件中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai</artifactId>
</dependency>

或添加到 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai'
}
请参阅依赖管理部分,将 Spring AI BOM 添加到您的构建文件中。

接下来,创建一个 OpenAiChatModel 并将其用于文本生成

var openAiApi = new OpenAiApi(System.getenv("OPENAI_API_KEY"));
var openAiChatOptions = OpenAiChatOptions.builder()
            .withModel("gpt-3.5-turbo")
            .withTemperature(0.4)
            .withMaxTokens(200)
        .build();
var chatModel = new OpenAiChatModel(openAiApi, openAiChatOptions)


ChatResponse response = chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> response = chatModel.stream(
    new Prompt("Generate the names of 5 famous pirates."));

OpenAiChatOptions 提供聊天请求的配置信息。OpenAiChatOptions.Builder 是流畅选项构建器。

低级 OpenAiApi 客户端

OpenAiApi 提供了一个轻量级的 Java 客户端,用于 OpenAI 聊天 API OpenAI 聊天 API

以下类图说明了 OpenAiApi 聊天界面和构建模块

OpenAiApi Chat API Diagram

以下是一个简单的代码片段,说明如何以编程方式使用 API

OpenAiApi openAiApi =
    new OpenAiApi(System.getenv("OPENAI_API_KEY"));

ChatCompletionMessage chatCompletionMessage =
    new ChatCompletionMessage("Hello world", Role.USER);

// Sync request
ResponseEntity<ChatCompletion> response = openAiApi.chatCompletionEntity(
    new ChatCompletionRequest(List.of(chatCompletionMessage), "gpt-3.5-turbo", 0.8f, false));

// Streaming request
Flux<ChatCompletionChunk> streamResponse = openAiApi.chatCompletionStream(
        new ChatCompletionRequest(List.of(chatCompletionMessage), "gpt-3.5-turbo", 0.8f, true));

有关更多信息,请参阅 OpenAiApi.java 的 JavaDoc。

低级 API 示例