OpenAI 文本转语音 (TTS) 集成

简介

音频 API 提供了一个基于 OpenAI TTS（文本转语音）模型的语音端点，使用户能够

  • 为书面博客文章配音。

  • 以多种语言生成语音音频。

  • 使用流式传输提供实时音频输出。

先决条件

  1. 创建一个 OpenAI 帐户并获取 API 密钥。您可以在 OpenAI 注册页面 注册并生成 API 密钥，在 API 密钥页面 上。

  2. 将 spring-ai-openai 依赖项添加到项目的构建文件中。有关更多信息，请参阅 依赖项管理 部分。

自动配置

Spring AI 为 OpenAI 文本转语音客户端提供 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

或您的 Gradle build.gradle 构建文件

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai-spring-boot-starter'
}
请参阅 依赖项管理 部分，将 Spring AI BOM 添加到您的构建文件中。

TTS 属性

前缀 spring.ai.openai.audio.speech 用作属性前缀，允许您配置 OpenAI 文本转语音客户端。

属性 描述 默认值

spring.ai.openai.audio.speech.options.model

要使用的模型的 ID。目前仅提供 tts-1。

tts-1

spring.ai.openai.audio.speech.options.voice

用于 TTS 输出的语音。可用选项包括：alloy、echo、fable、onyx、nova 和 shimmer。

alloy

spring.ai.openai.audio.speech.options.response-format

音频输出的格式。支持的格式包括 mp3、opus、aac、flac、wav 和 pcm。

mp3

spring.ai.openai.audio.speech.options.speed

语音合成的速度。可接受的范围为 0.0（最慢）到 1.0（最快）。

1.0

运行时选项

OpenAiAudioSpeechOptions 类提供了在进行文本转语音请求时使用的选项。启动时，将使用 spring.ai.openai.audio.speech 指定的选项，但您可以在运行时覆盖这些选项。

例如

OpenAiAudioSpeechOptions speechOptions = OpenAiAudioSpeechOptions.builder()
    .withModel("tts-1")
    .withVoice(OpenAiAudioApi.SpeechRequest.Voice.ALLOY)
    .withResponseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .withSpeed(1.0f)
    .build();

SpeechPrompt speechPrompt = new SpeechPrompt("Hello, this is a text-to-speech example.", speechOptions);
SpeechResponse response = openAiAudioSpeechModel.call(speechPrompt);

手动配置

将 spring-ai-openai 依赖项添加到项目的 Maven pom.xml 文件

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai</artifactId>
</dependency>

或您的 Gradle build.gradle 构建文件

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai'
}
请参阅 依赖项管理 部分，将 Spring AI BOM 添加到您的构建文件中。

接下来，创建一个 OpenAiAudioSpeechModel

var openAiAudioApi = new OpenAiAudioApi(System.getenv("OPENAI_API_KEY"));

var openAiAudioSpeechModel = new OpenAiAudioSpeechModel(openAiAudioApi);

var speechOptions = OpenAiAudioSpeechOptions.builder()
    .withResponseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .withSpeed(1.0f)
    .withModel(OpenAiAudioApi.TtsModel.TTS_1.value)
    .build();

var speechPrompt = new SpeechPrompt("Hello, this is a text-to-speech example.", speechOptions);
SpeechResponse response = openAiAudioSpeechModel.call(speechPrompt);

// Accessing metadata (rate limit info)
OpenAiAudioSpeechResponseMetadata metadata = response.getMetadata();

byte[] responseAsBytes = response.getResult().getOutput();

实时音频流

语音 API 支持使用分块传输编码进行实时音频流。这意味着音频可以在完整文件生成并可访问之前播放。

var openAiAudioApi = new OpenAiAudioApi(System.getenv("OPENAI_API_KEY"));

var openAiAudioSpeechModel = new OpenAiAudioSpeechModel(openAiAudioApi);

OpenAiAudioSpeechOptions speechOptions = OpenAiAudioSpeechOptions.builder()
    .withVoice(OpenAiAudioApi.SpeechRequest.Voice.ALLOY)
    .withSpeed(1.0f)
    .withResponseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .withModel(OpenAiAudioApi.TtsModel.TTS_1.value)
    .build();

SpeechPrompt speechPrompt = new SpeechPrompt("Today is a wonderful day to build something people love!", speechOptions);

Flux<SpeechResponse> responseStream = openAiAudioSpeechModel.stream(speechPrompt);

示例代码