Mistral AI 聊天

Spring AI 支持 Mistral AI 提供的各种 AI 语言模型。您可以使用 Mistral AI 语言模型并基于 Mistral 模型构建多语言对话助手。

Mistral AI 也提供了与 OpenAI API 兼容的端点。请查看 OpenAI API 兼容性 部分，了解如何使用 Spring AI OpenAI 集成来与 Mistral 端点通信。

先决条件

您需要使用 Mistral AI 创建一个 API 以访问 Mistral AI 语言模型。请在 Mistral AI 注册页面 创建账户，并在 API 密钥页面 生成令牌。Spring AI 项目定义了一个名为 spring.ai.mistralai.api-key 的配置属性，您应该将其设置为从 console.mistral.ai 获取的 API Key 值。导出环境变量是设置该配置属性的一种方式。

export SPRING_AI_MISTRALAI_API_KEY=<INSERT KEY HERE>

添加仓库和 BOM

Spring AI 的 artifacts 发布在 Maven Central 和 Spring Snapshot 仓库中。请参考仓库部分，将这些仓库添加到您的构建系统。

为了便于依赖管理，Spring AI 提供了一个 BOM（物料清单），以确保整个项目中使用的 Spring AI 版本一致。请参考依赖管理部分，将 Spring AI BOM 添加到您的构建系统。

自动配置

Spring AI 自动配置、starter 模块的 artifact 名称发生了重大变化。请参考升级注意事项了解更多信息。

Spring AI 为 Mistral AI 聊天客户端提供了 Spring Boot 自动配置。要启用它，请将以下依赖添加到您项目的 Maven pom.xml 文件中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-mistral-ai</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-mistral-ai'
}
请参考依赖管理部分，将 Spring AI BOM 添加到您的构建文件。

聊天属性

重试属性

前缀 spring.ai.retry 用作属性前缀，可让您配置 Mistral AI 聊天模型的重试机制。

属性 描述 默认值

spring.ai.retry.max-attempts

最大重试次数。

10

spring.ai.retry.backoff.initial-interval

指数退避策略的初始等待时长。

2 秒。

spring.ai.retry.backoff.multiplier

退避间隔乘数。

5

spring.ai.retry.backoff.max-interval

最大退避时长。

3 分钟。

spring.ai.retry.on-client-errors

如果为 false，则抛出 NonTransientAiException，且不对 4xx 客户端错误代码尝试重试

false

spring.ai.retry.exclude-on-http-codes

不应触发重试的 HTTP 状态代码列表（例如，抛出 NonTransientAiException）。

空

spring.ai.retry.on-http-codes

应触发重试的 HTTP 状态代码列表（例如，抛出 TransientAiException）。

空

连接属性

前缀 spring.ai.mistralai 用作属性前缀，可让您连接到 Mistral AI。

属性 描述 默认值

spring.ai.mistralai.base-url

连接的 URL

api.mistral.ai

spring.ai.mistralai.api-key

API 密钥

-

配置属性

现在，聊天自动配置的启用和禁用是通过带有前缀 spring.ai.model.chat 的顶层属性进行配置的。

要启用，请设置 spring.ai.model.chat=mistral（默认启用）

要禁用，请设置 spring.ai.model.chat=none（或任何不匹配 mistral 的值）

此更改是为了支持配置多个模型。

前缀 spring.ai.mistralai.chat 用作属性前缀，可让您配置 Mistral AI 的聊天模型实现。

属性 描述 默认值

spring.ai.mistralai.chat.enabled (已移除且不再有效)

启用 Mistral AI 聊天模型。

true

spring.ai.model.chat

启用 Mistral AI 聊天模型。

mistral

spring.ai.mistralai.chat.base-url

用于覆盖 spring.ai.mistralai.base-url 属性的可选配置，以提供聊天特定的 URL。

-

spring.ai.mistralai.chat.api-key

用于覆盖 spring.ai.mistralai.api-key 的可选配置，以提供聊天特定的 API 密钥。

-

spring.ai.mistralai.chat.options.model

要使用的 Mistral AI 聊天模型

open-mistral-7b, open-mixtral-8x7b, open-mixtral-8x22b, mistral-small-latest, mistral-large-latest

spring.ai.mistralai.chat.options.temperature

用于控制生成补全的感知创造性的采样温度。值越高，输出越随机；值越低，结果越集中且确定。不建议在同一补全请求中同时修改 temperature 和 top_p，因为这两个设置的交互作用难以预测。

0.8

spring.ai.mistralai.chat.options.maxTokens

聊天补全中生成的最大令牌数。输入令牌和生成令牌的总长度受模型上下文长度的限制。

-

spring.ai.mistralai.chat.options.safePrompt

指示是否在所有对话前注入安全提示。

false

spring.ai.mistralai.chat.options.randomSeed

此功能处于 Beta 阶段。如果指定此项，我们的系统将尽力以确定性方式采样，以便使用相同种子和参数的重复请求应返回相同的结果。

-

spring.ai.mistralai.chat.options.stop

如果检测到此令牌，则停止生成。或者在提供数组时，如果检测到这些令牌中的一个，则停止生成。

-

spring.ai.mistralai.chat.options.topP

一种替代温度采样的方案，称为核采样 (nucleus sampling)，模型考虑具有 top_p 概率质量的令牌结果。因此 0.1 意味着只考虑构成前 10% 概率质量的令牌。我们通常建议修改此参数或 temperature，但不要同时修改两者。

-

spring.ai.mistralai.chat.options.responseFormat

一个对象，指定模型必须输出的格式。设置为 { "type": "json_object" } 可启用 JSON 模式，该模式保证模型生成的消息是有效的 JSON。

-

spring.ai.mistralai.chat.options.tools

模型可以调用的工具列表。当前，仅支持函数作为工具。使用此参数提供模型可以为其生成 JSON 输入的函数列表。

-

spring.ai.mistralai.chat.options.toolChoice

控制模型调用哪个（如果有）函数。none 意味着模型不会调用函数，而是生成消息。auto 意味着模型可以在生成消息或调用函数之间选择。通过 {"type: "function", "function": {"name": "my_function"}} 指定特定函数会强制模型调用该函数。当没有函数时，默认值为 none。如果存在函数，默认值为 auto。

-

spring.ai.mistralai.chat.options.functions

通过名称标识的函数列表，用于在单个提示请求中启用函数调用。具有这些名称的函数必须存在于 functionCallbacks 注册表中。

-

spring.ai.mistralai.chat.options.functionCallbacks

要注册到 ChatModel 的 Mistral AI 工具函数回调。

-

spring.ai.mistralai.chat.options.proxy-tool-calls

如果为 true，Spring AI 不会在内部处理函数调用，而是将它们代理到客户端。然后由客户端负责处理函数调用，将其分派给相应的函数，并返回结果。如果为 false（默认值），Spring AI 将在内部处理函数调用。仅适用于支持函数调用的聊天模型。

false
您可以为 ChatModel 和 EmbeddingModel 实现覆盖公共的 spring.ai.mistralai.base-url 和 spring.ai.mistralai.api-key。如果设置了 spring.ai.mistralai.chat.base-url 和 spring.ai.mistralai.chat.api-key 属性，它们将优先于公共属性。如果您想为不同的模型和不同的模型端点使用不同的 Mistral AI 账户，这会很有用。
所有以 spring.ai.mistralai.chat.options 为前缀的属性都可以在运行时通过向 Prompt 调用添加请求特定的运行时选项来覆盖。

运行时选项

MistralAiChatOptions.java 提供了模型配置，例如要使用的模型、温度、频率惩罚等。

启动时，可以使用 MistralAiChatModel(api, options) 构造函数或 spring.ai.mistralai.chat.options.* 属性配置默认选项。

在运行时，您可以通过向 Prompt 调用添加新的、请求特定的选项来覆盖默认选项。例如，为特定请求覆盖默认模型和温度

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        MistralAiChatOptions.builder()
            .model(MistralAiApi.ChatModel.LARGE.getValue())
            .temperature(0.5)
        .build()
    ));
除了模型特定的 MistralAiChatOptions 之外，您还可以使用通过 ChatOptionsBuilder#builder() 创建的可移植 ChatOptions 实例。

函数调用

您可以使用 MistralAiChatModel 注册自定义 Java 函数，并让 Mistral AI 模型智能地选择输出包含调用一个或多个已注册函数所需参数的 JSON 对象。这是将 LLM 能力与外部工具和 API 连接起来的强大技术。了解更多关于Mistral AI 函数调用的信息。

多模态

多模态是指模型能够同时理解和处理来自各种源（包括文本、图像、音频和其他数据格式）的信息。Mistral AI 支持文本和视觉模态。

视觉

提供视觉多模态支持的 Mistral AI 模型包括 pixtral-large-latest。有关更多信息，请参考视觉指南。

Mistral AI 的用户消息 API 可以在消息中包含 base64 编码的图像列表或图像 URL。Spring AI 的Message 接口通过引入Media 类型，促进了多模态 AI 模型的使用。该类型包含消息中媒体附件的数据和详细信息，利用 Spring 的 org.springframework.util.MimeType 和 org.springframework.core.io.Resource 来处理原始媒体数据。

以下是摘自 MistralAiChatModelIT.java 的代码示例，说明了用户文本与图像的融合。

var imageResource = new ClassPathResource("/multimodal.test.png");

var userMessage = new UserMessage("Explain what do you see on this picture?",
        new Media(MimeTypeUtils.IMAGE_PNG, this.imageResource));

ChatResponse response = chatModel.call(new Prompt(this.userMessage,
        ChatOptions.builder().model(MistralAiApi.ChatModel.PIXTRAL_LARGE.getValue()).build()));

或等效的图像 URL

var userMessage = new UserMessage("Explain what do you see on this picture?",
        new Media(MimeTypeUtils.IMAGE_PNG,
                URI.create("https://docs.springjava.cn/spring-ai/reference/_images/multimodal.test.png")));

ChatResponse response = chatModel.call(new Prompt(this.userMessage,
        ChatOptions.builder().model(MistralAiApi.ChatModel.PIXTRAL_LARGE.getValue()).build()));
您也可以传递多个图像。

示例展示了一个模型将 multimodal.test.png 图像作为输入

Multimodal Test Image

以及文本消息“Explain what do you see on this picture?”，并生成如下响应

This is an image of a fruit bowl with a simple design. The bowl is made of metal with curved wire edges that
create an open structure, allowing the fruit to be visible from all angles. Inside the bowl, there are two
yellow bananas resting on top of what appears to be a red apple. The bananas are slightly overripe, as
indicated by the brown spots on their peels. The bowl has a metal ring at the top, likely to serve as a handle
for carrying. The bowl is placed on a flat surface with a neutral-colored background that provides a clear
view of the fruit inside.

OpenAI API 兼容性

Mistral 与 OpenAI API 兼容，您可以使用Spring AI OpenAI 客户端与 Mistral 通信。为此，您需要将 OpenAI 的 base URL 配置为指向 Mistral AI 平台：spring.ai.openai.chat.base-url=https://api.mistral.ai，并选择一个 Mistral 模型：spring.ai.openai.chat.options.model=mistral-small-latest，然后设置 Mistral AI API 密钥：spring.ai.openai.chat.api-key=<YOUR MISTRAL API KEY。

请查看 MistralWithOpenAiChatModelIT.java 测试，获取通过 Spring AI OpenAI 使用 Mistral 的示例。

示例控制器（自动配置）

创建一个新的 Spring Boot 项目，并将 spring-ai-starter-model-mistral-ai 添加到您的 pom（或 gradle）依赖项中。

在 src/main/resources 目录下添加一个 application.properties 文件，以启用和配置 Mistral AI 聊天模型

spring.ai.mistralai.api-key=YOUR_API_KEY
spring.ai.mistralai.chat.options.model=mistral-small
spring.ai.mistralai.chat.options.temperature=0.7
将 api-key 替换为您的 Mistral AI 凭据。

这将创建一个 MistralAiChatModel 实现，您可以将其注入到您的类中。以下是一个使用聊天模型生成文本的简单 @RestController 类示例。

@RestController
public class ChatController {

    private final MistralAiChatModel chatModel;

    @Autowired
    public ChatController(MistralAiChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map<String,String> generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        var prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }
}

手动配置

MistralAiChatModel 实现了 ChatModel 和 StreamingChatModel 接口，并使用底层 MistralAiApi 客户端连接到 Mistral AI 服务。

将 spring-ai-mistral-ai 依赖添加到您项目的 Maven pom.xml 文件中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-mistral-ai</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-mistral-ai'
}
请参考依赖管理部分，将 Spring AI BOM 添加到您的构建文件。

接下来，创建一个 MistralAiChatModel 并使用它进行文本生成

var mistralAiApi = new MistralAiApi(System.getenv("MISTRAL_AI_API_KEY"));

var chatModel = new MistralAiChatModel(this.mistralAiApi, MistralAiChatOptions.builder()
                .model(MistralAiApi.ChatModel.LARGE.getValue())
                .temperature(0.4)
                .maxTokens(200)
                .build());

ChatResponse response = this.chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> response = this.chatModel.stream(
    new Prompt("Generate the names of 5 famous pirates."));

MistralAiChatOptions 提供了聊天请求的配置信息。MistralAiChatOptions.Builder 是一个流式选项构建器。

底层 MistralAiApi 客户端

MistralAiApi 提供了一个轻量级的 Java 客户端用于Mistral AI API。

以下是一个简单的代码片段，展示了如何以编程方式使用该 API

MistralAiApi mistralAiApi = new MistralAiApi(System.getenv("MISTRAL_AI_API_KEY"));

ChatCompletionMessage chatCompletionMessage =
    new ChatCompletionMessage("Hello world", Role.USER);

// Sync request
ResponseEntity<ChatCompletion> response = this.mistralAiApi.chatCompletionEntity(
    new ChatCompletionRequest(List.of(this.chatCompletionMessage), MistralAiApi.ChatModel.LARGE.getValue(), 0.8, false));

// Streaming request
Flux<ChatCompletionChunk> streamResponse = this.mistralAiApi.chatCompletionStream(
        new ChatCompletionRequest(List.of(this.chatCompletionMessage), MistralAiApi.ChatModel.LARGE.getValue(), 0.8, true));

请参考 MistralAiApi.java 的 JavaDoc 了解更多信息。

MistralAiApi 示例