VertexAI Gemini 聊天
Vertex AI Gemini API 允许开发者使用 Gemini 模型构建生成式 AI 应用。Vertex AI Gemini API 支持多模态提示作为输入，并输出文本或代码。多模态模型是一种能够处理来自多种模态的信息的模型，包括图像、视频和文本。例如，你可以向模型发送一张饼干盘的照片，并要求它给你提供这些饼干的食谱。
Gemini 是由 Google DeepMind 开发的一系列生成式 AI 模型，专为多模态用例而设计。Gemini API 使你可以访问 Gemini 1.0 Pro Vision 和 Gemini 1.0 Pro 模型。有关 Vertex AI Gemini API 模型的规范，请参阅 模型信息。
先决条件
设置你的 Java 开发环境。通过运行以下命令进行身份验证。将 PROJECT_ID 替换为你的 Google Cloud 项目 ID，将 ACCOUNT 替换为你的 Google Cloud 用户名。
gcloud config set project PROJECT_ID &&
gcloud auth application-default login ACCOUNT自动配置
Spring AI 为 VertexAI Gemini Chat 客户端提供了 Spring Boot 自动配置。要启用它，请将以下依赖项添加到你的项目的 Maven pom.xml 文件中
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-vertex-ai-gemini-spring-boot-starter</artifactId>
</dependency>或添加到你的 Gradle build.gradle 构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-vertex-ai-gemini-spring-boot-starter'
}| 请参阅依赖管理部分，将 Spring AI BOM 添加到构建文件中。 |
聊天属性
前缀 spring.ai.vertex.ai.gemini 用作属性前缀，可用于连接到 VertexAI。
| 属性 | 说明 | 默认值 |
|---|---|---|
spring.ai.vertex.ai.gemini.projectId |
Google Cloud Platform 项目 ID |
- |
spring.ai.vertex.ai.gemini.location |
区域 |
- |
spring.ai.vertex.ai.gemini.credentialsUri |
Vertex AI Gemini 凭据的 URI。提供后，它用于创建一个 |
- |
spring.ai.vertex.ai.gemini.apiEndpoint |
Vertex AI Gemini API 端点。 |
- |
spring.ai.vertex.ai.gemini.scopes |
- |
|
spring.ai.vertex.ai.gemini.transport |
API 传输。GRPC 或 REST。 |
GRPC |
前缀 spring.ai.vertex.ai.gemini.chat 是属性前缀，可用于配置 VertexAI Gemini Chat 的聊天模型实现。
| 属性 | 说明 | 默认值 |
|---|---|---|
spring.ai.vertex.ai.gemini.chat.options.model |
支持的 Vertex AI Gemini Chat 模型 包括 (1.0 ) |
gemini-pro |
spring.ai.vertex.ai.gemini.chat.options.temperature |
控制输出的随机性。值范围为 [0.0,1.0]（含）。接近 1.0 的值将产生变化更大的响应，而接近 0.0 的值通常会导致生成器产生不太令人惊讶的响应。此值指定在调用生成器时后端使用的默认值。 |
0.8 |
spring.ai.vertex.ai.gemini.chat.options.topK |
采样时要考虑的最大令牌数。生成器使用组合的 Top-k 和核采样。Top-k 采样考虑了最可能的 TopK 令牌集。 |
- |
spring.ai.vertex.ai.gemini.chat.options.topP |
采样时要考虑的令牌的最大累积概率。生成器使用组合的 Top-k 和核采样。核采样考虑概率总和至少为 topP 的最小令牌集。 |
- |
spring.ai.vertex.ai.gemini.chat.options.candidateCount |
要返回的生成响应消息数。此值必须介于 [1, 8]（含）之间。默认为 1。 |
- |
spring.ai.vertex.ai.gemini.chat.options.candidateCount |
要返回的生成响应消息数。此值必须介于 [1, 8]（含）之间。默认为 1。 |
- |
spring.ai.vertex.ai.gemini.chat.options.maxOutputTokens |
要生成的最大令牌数。 |
- |
spring.ai.vertex.ai.gemini.chat.options.frequencyPenalty |
- |
|
spring.ai.vertex.ai.gemini.chat.options.presencePenalty |
- |
|
spring.ai.vertex.ai.gemini.chat.options.functions |
按名称标识的功能列表，用于在单个提示请求中启用功能调用。具有这些名称的功能必须存在于 functionCallbacks 注册表中。 |
- |
所有以 spring.ai.vertex.ai.gemini.chat.options 为前缀的属性都可以通过向 Prompt 调用添加特定于请求的 运行时选项 在运行时进行覆盖。
|
运行时选项
VertexAiGeminiChatOptions.java 提供模型配置，例如温度、topK 等。
在启动时，可以使用 VertexAiGeminiChatModel(api, options) 构造函数或 spring.ai.vertex.ai.chat.options.* 属性配置默认选项。
在运行时，可以通过向 Prompt 调用添加新的特定于请求的选项来覆盖默认选项。例如，要覆盖特定请求的默认温度
ChatResponse response = chatModel.call(
new Prompt(
"Generate the names of 5 famous pirates.",
VertexAiPaLm2ChatOptions.builder()
.withTemperature(0.4)
.build()
));
除了特定于模型的 VertexAiChatPaLm2Options 之外，你还可以使用便携式 ChatOptions 实例，使用 ChatOptionsBuilder#builder() 创建。
|
函数调用
截至 2023 年 4 月 30 日，Vertex AI Gemini Pro 模型已显著降低了对函数调用的支持！虽然该功能仍然可用，但建议不要将其用于生产环境。显然，Gemini Pro 无法再正确处理函数名称。并行函数调用也已消失。
|
你可以使用 VertexAiGeminiChatModel 注册自定义 Java 函数，并让 Gemini Pro 模型智能地选择输出一个 JSON 对象，其中包含调用一个或多个已注册函数的参数。这是一种将 LLM 功能与外部工具和 API 连接起来的强大技术。阅读有关 Vertex AI Gemini 函数调用 的更多信息。
多模态
多模态是指模型同时理解和处理来自各种来源的信息（包括文本、图像、音频和其他数据格式）的能力。这种范例代表了 AI 模型的重大进步。
Google 的 Gemini AI 模型通过理解和整合文本、代码、音频、图像和视频来支持此功能。有关更多详细信息，请参阅博客文章 Introducing Gemini。
Spring AI 的 Message 接口通过引入媒体类型来支持多模态 AI 模型。此类型包含消息中媒体附件的数据和信息，使用 Spring 的 org.springframework.util.MimeType 和 java.lang.Object 作为原始媒体数据。
下面是从 VertexAiGeminiChatModelIT.java 摘取的一个简单代码示例，演示了用户文本与图像的组合。
byte[] data = new ClassPathResource("/vertex-test.png").getContentAsByteArray();
var userMessage = new UserMessage("Explain what do you see o this picture?",
List.of(new Media(MimeTypeUtils.IMAGE_PNG, data)));
ChatResponse response = chatModel.call(new Prompt(List.of(userMessage)));示例控制器
创建一个新的 Spring Boot 项目，并将 spring-ai-vertex-ai-palm2-spring-boot-starter 添加到您的 pom（或 gradle）依赖项中。
在 src/main/resources 目录下添加一个 application.properties 文件，以启用和配置 VertexAi 聊天模型
spring.ai.vertex.ai.gemini.project-id=PROJECT_ID
spring.ai.vertex.ai.gemini.location=LOCATION
spring.ai.vertex.ai.gemini.chat.options.model=vertex-pro-vision
spring.ai.vertex.ai.gemini.chat.options.temperature=0.5
用您的 VertexAI 凭据替换 api-key。
|
这将创建一个 VertexAiGeminiChatModel 实现，您可以将其注入到您的类中。这是一个使用聊天模型进行文本生成的简单 @Controller 类的示例。
@RestController
public class ChatController {
private final VertexAiGeminiChatModel chatModel;
@Autowired
public ChatController(VertexAiGeminiChatModel chatModel) {
this.chatModel = chatModel;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", chatModel.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
Prompt prompt = new Prompt(new UserMessage(message));
return chatModel.stream(prompt);
}
}手动配置
VertexAiGeminiChatModel 实现 ChatModel 并使用 VertexAI 连接到 Vertex AI Gemini 服务。
将 spring-ai-vertex-ai-gemini 依赖项添加到您项目的 Maven pom.xml 文件中
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-vertex-ai-gemini</artifactId>
</dependency>或添加到你的 Gradle build.gradle 构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-vertex-ai-gemini'
}| 请参阅依赖管理部分，将 Spring AI BOM 添加到构建文件中。 |
接下来，创建一个 VertexAiGeminiChatModel 并将其用于文本生成
VertexAI vertexApi = new VertexAI(projectId, location);
var chatModel = new VertexAiGeminiChatModel(vertexApi,
VertexAiGeminiChatOptions.builder()
.withModel(ChatModel.GEMINI_PRO_1_5_PRO)
.withTemperature(0.4)
.build());
ChatResponse response = chatModel.call(
new Prompt("Generate the names of 5 famous pirates."));VertexAiGeminiChatOptions 提供聊天请求的配置信息。VertexAiGeminiChatOptions.Builder 是流畅选项构建器。
