Mistral AI 函数调用
您可以使用 MistralAiChatModel 注册自定义 Java 函数，并让 Mistral AI 模型智能地选择输出一个 JSON 对象，其中包含调用一个或多个已注册函数的参数。这使您可以将 LLM 功能与外部工具和 API 连接起来。open-mixtral-8x22b、mistral_small_latest 和 mistral_large_latest 模型经过训练，可以检测何时应该调用函数，并以符合函数签名的 JSON 响应。
MistralAI API 不会直接调用函数；相反，该模型会生成 JSON，您可以使用该 JSON 在代码中调用函数，并将结果返回给模型以完成对话。
截至 2024 年 3 月 13 日，Mistral AI 已将并行函数调用支持集成到其 mistral_large_latest 模型中，而这是首次 Spring AI Mistral AI 出现时所没有的功能。
|
Spring AI 提供灵活且用户友好的方式来注册和调用自定义函数。通常，自定义函数需要提供函数 name、description 和函数调用 signature（作为 JSON 模式），以让模型知道函数期望哪些参数。description 有助于模型了解何时调用函数。
作为一名开发者，您需要实现一个函数，该函数获取 AI 模型发送的函数调用参数，并将结果响应回模型。您的函数可以依次调用其他第三方服务来提供结果。
Spring AI 使此操作变得非常容易，只需定义一个返回 java.util.Function 的 @Bean 定义，并在调用 ChatModel 时将 Bean 名称作为选项提供即可。
在底层，Spring 用适当的适配器代码包装你的 POJO（函数），该代码可与 AI 模型进行交互，从而让你无需编写繁琐的样板代码。底层基础设施的基础是 FunctionCallback.java 接口和配套的 FunctionCallbackWrapper.java 实用程序类，以简化 Java 回调函数的实现和注册。
工作原理
假设我们希望 AI 模型响应它没有的信息，例如给定位置的当前温度。
我们可以向 AI 模型提供有关我们自己的函数的元数据，它可以在处理你的提示时使用这些元数据来检索该信息。
例如，如果在处理提示期间，AI 模型确定它需要有关给定位置温度的附加信息，它将启动服务器端生成的请求/响应交互。AI 模型调用客户端函数。AI 模型以 JSON 的形式提供方法调用详细信息，客户端负责执行该函数并返回响应。
Spring AI 极大地简化了为支持函数调用而需要编写的代码。它为你代理函数调用会话。你可以简单地将你的函数定义作为 @Bean 提供，然后在你的提示选项中提供函数的 Bean 名称。你还可以在你提示中引用多个函数 Bean 名称。
快速入门
让我们创建一个聊天机器人，通过调用我们自己的函数来回答问题。为了支持聊天机器人的响应，我们将注册我们自己的函数，该函数获取一个位置并返回该位置的当前天气。
当对模型的提示的响应需要回答诸如 "波士顿的天气如何？" 之类的问题时，AI 模型将调用客户端，提供位置值作为要传递给函数的参数。此类 RPC 数据以 JSON 的形式传递。
我们的函数调用一些基于 SaaS 的天气服务 API，并将天气响应返回给模型以完成会话。在此示例中，我们将使用一个名为 MockWeatherService 的简单实现，该实现硬编码了各个位置的温度。
以下 MockWeatherService.java 表示天气服务 API
public class MockWeatherService implements Function<Request, Response> {
public enum Unit { C, F }
public record Request(String location, Unit unit) {}
public record Response(double temp, Unit unit) {}
public Response apply(Request request) {
return new Response(30.0, Unit.C);
}
}将函数注册为 Bean
使用 MistralAiChatModel 自动配置，您可以通过多种方式将自定义函数注册为 Spring 上下文中的 Bean。
我们从描述最友好的 POJO 选项开始。
普通 Java 函数
在此方法中，您在应用程序上下文中定义 @Beans，就像定义任何其他 Spring 管理的对象一样。
在内部，Spring AI ChatModel 将创建 FunctionCallbackWrapper 包装器的实例，该包装器添加了通过 AI 模型调用它的逻辑。@Bean 的名称作为 ChatOption 传递。
@Configuration
static class Config {
@Bean
@Description("Get the weather in location") // function description
public Function<MockWeatherService.Request, MockWeatherService.Response> weatherFunction1() {
return new MockWeatherService();
}
...
}@Description 注释是可选的，它提供函数描述 (2)，帮助模型了解何时调用函数。这是一个重要的属性设置，可帮助 AI 模型确定要调用的客户端函数。
提供函数描述的另一种选择是在 MockWeatherService.Request 上使用 @JsonClassDescription 注释来提供函数描述
@Configuration
static class Config {
@Bean
public Function<Request, Response> currentWeather3() { // (1) bean name as function name.
return new MockWeatherService();
}
...
}
@JsonClassDescription("Get the weather in location") // (2) function description
public record Request(String location, Unit unit) {}最好使用信息注释请求对象，以便该函数的生成 JSON 模式尽可能具有描述性，以帮助 AI 模型选择要调用的正确函数。
PaymentStatusBeanIT.java 演示了此方法。
| PaymentStatusBeanOpenAiIT 使用 OpenAI API 实现相同的功能。MistralAI 在这方面几乎与 OpenAI 相同。 |
FunctionCallback 包装器
注册函数的另一种方法是创建 FunctionCallbackWrapper 包装器，如下所示
@Configuration
static class Config {
@Bean
public FunctionCallback weatherFunctionInfo() {
return new FunctionCallbackWrapper<>("CurrentWeather", // (1) function name
"Get the weather in location", // (2) function description
(response) -> "" + response.temp() + response.unit(), // (3) Response Converter
new MockWeatherService()); // function code
}
...
}它包装第三方 MockWeatherService 函数，并将其作为 CurrentWeather 函数注册到 MistralAiChatModel 中。它还提供描述 (2) 和可选的响应转换器 (3) 将响应转换为模型期望的文本。
| 默认情况下，响应转换器对响应对象进行 JSON 序列化。 |
FunctionCallbackWrapper 在内部根据 MockWeatherService.Request 类解析函数调用签名。
|
在聊天选项中指定函数
要让模型了解并调用您的CurrentWeather函数，您需要在提示请求中启用它
MistralAiChatModel chatModel = ...
UserMessage userMessage = new UserMessage("What's the weather like in Paris?");
ChatResponse response = chatModel.call(new Prompt(List.of(userMessage),
MistralAiChatOptions.builder().withFunction("CurrentWeather").build())); // (1) Enable the function
logger.info("Response: {}", response);以上用户问题将触发 3 次对CurrentWeather函数的调用（每个城市一次），并生成最终响应。
使用提示选项注册/调用函数
除了自动配置之外，您还可以使用提示请求动态注册回调函数
MistralAiChatModel chatModel = ...
UserMessage userMessage = new UserMessage("What's the weather like in Paris?");
var promptOptions = MistralAiChatOptions.builder()
.withFunctionCallbacks(List.of(new FunctionCallbackWrapper<>(
"CurrentWeather", // name
"Get the weather in location", // function description
new MockWeatherService()))) // function code
.build();
ChatResponse response = chatModel.call(new Prompt(List.of(userMessage), promptOptions));| 在提示中注册的函数在此请求的持续时间内默认启用。 |
此方法允许根据用户输入动态选择要调用的不同函数。
PaymentStatusPromptIT.java集成测试提供了一个完整的示例，说明如何使用MistralAiChatModel注册函数并在提示请求中使用它。
附录
Mistral AI API 函数调用流程
下图说明了用于函数调用的 Mistral AI 底层 API 的流程
PaymentStatusFunctionCallingIT.java提供了一个完整的示例，说明如何使用 Mistral AI API 函数调用。它基于Mistral AI 函数调用教程。
