函数调用

您可以在 MiniMaxChatModel 中注册自定义 Java 函数,让 MiniMax 模型智能地选择输出一个 JSON 对象,其中包含调用一个或多个注册函数的参数。这使得您可以将 LLM 能力与外部工具和 API 连接起来。MiniMax 模型经过训练,可以检测何时应调用函数,并以符合函数签名的 JSON 格式响应。

MiniMax API 不直接调用函数;相反,模型会生成 JSON,您可以使用它在代码中调用函数,并将结果返回给模型以完成对话。

Spring AI 提供了灵活且用户友好的方式来注册和调用自定义函数。通常,自定义函数需要提供函数名、描述以及函数调用签名(作为 JSON Schema),以便模型知道函数需要哪些参数。描述有助于模型理解何时调用该函数。

作为开发者,您需要实现一个函数,该函数接收从 AI 模型发送的函数调用参数,并将结果返回给模型。您的函数又可以调用其他第三方服务来提供结果。

Spring AI 使这变得非常简单,只需定义一个返回 java.util.Function@Bean 定义,并在调用 ChatModel 时将 Bean 名称作为选项提供即可。

在底层,Spring 使用适当的适配器代码包装您的 POJO(即函数),从而实现与 AI 模型的交互,省去了编写繁琐的样板代码。底层基础设施的基础是 ToolCallback.java 接口及其配套的 Builder 工具类,用于简化 Java 回调函数的实现和注册。

工作原理

假设我们希望 AI 模型能够响应它本身不具备的信息,例如给定位置的当前温度。

我们可以向 AI 模型提供关于我们自己函数的元数据,模型可以在处理您的 Prompt 时使用这些函数来检索信息。

例如,如果在处理 Prompt 期间,AI 模型确定需要关于给定位置温度的附加信息,它将启动一个服务器端生成的请求/响应交互。AI 模型调用客户端函数。AI 模型以 JSON 格式提供方法调用详细信息,客户端负责执行该函数并返回响应。

模型与客户端的交互在 [spring-ai-function-calling-flow] 图中进行了说明。

Spring AI 极大地简化了您需要编写的代码,以支持函数调用。它为您处理函数调用对话。您只需将函数定义作为 @Bean 提供,然后在 Prompt 选项中提供函数的 bean 名称即可。您还可以在 Prompt 中引用多个函数 bean 名称。

快速开始

让我们创建一个聊天机器人,它通过调用我们自己的函数来回答问题。为了支持聊天机器人的响应,我们将注册一个接受位置参数并返回该位置当前天气的函数。

当模型响应 Prompt 需要回答诸如 "What’s the weather like in Boston?" 之类的问题时,AI 模型将调用客户端,提供位置值作为参数传递给函数。这种类似 RPC 的数据以 JSON 格式传递。

我们的函数调用某个基于 SaaS 的天气服务 API,并将天气响应返回给模型以完成对话。在本例中,我们将使用一个名为 MockWeatherService 的简单实现,它为不同位置硬编码了温度。

以下 MockWeatherService.java 表示天气服务 API

public class MockWeatherService implements Function<Request, Response> {

	public enum Unit { C, F }
	public record Request(String location, Unit unit) {}
	public record Response(double temp, Unit unit) {}

	public Response apply(Request request) {
		return new Response(30.0, Unit.C);
	}
}

将函数注册为 Bean

借助 MiniMaxChatModel 自动配置,您可以通过多种方式将自定义函数注册为 Spring Context 中的 Bean。

我们从描述最 POJO 友好的选项开始。

普通 Java 函数

在这种方法中,您可以在应用程序上下文中像定义其他任何 Spring 管理的对象一样定义 @Beans

在内部,Spring AI 的 ChatModel 将创建一个 ToolCallback 实例,该实例添加了通过 AI 模型调用它的逻辑。@Bean 的名称作为 ChatOption 传递。

@Configuration
static class Config {

	@Bean
	@Description("Get the weather in location") // function description
	public Function<MockWeatherService.Request, MockWeatherService.Response> weatherFunction1() {
		return new MockWeatherService();
	}
	...
}

@Description 注解是可选的,它提供了一个函数描述(2),有助于模型理解何时调用该函数。设置此属性对于帮助 AI 模型确定要调用哪个客户端函数非常重要。

提供函数描述的另一种选择是在 MockWeatherService.Request 上使用 @JacksonDescription 注解来提供函数描述。

@Configuration
static class Config {

	@Bean
	public Function<Request, Response> currentWeather3() { // (1) bean name as function name.
		return new MockWeatherService();
	}
	...
}

@JsonClassDescription("Get the weather in location") // (2) function description
public record Request(String location, Unit unit) {}

最佳实践是使用信息标注请求对象,以便生成的函数 JSON Schema 尽可能具有描述性,从而帮助 AI 模型选择正确的函数进行调用。

ToolCallback 包装器

注册函数的另一种方法是像这样创建一个 ToolCallback 实例

@Configuration
static class Config {

	@Bean
	public FunctionToolCallback weatherFunctionInfo() {

    return FunctionToolCallback.builder()
		.function("CurrentWeather", new MockWeatherService()) // (1) function name and instance
        .description("Get the weather in location") // (2) function description
		.inputType(MockWeatherService.Request.class) // (3) function signature
        .build();
	}
	...
}

它包装了第三方 MockWeatherService 函数,并将其注册为 MiniMaxChatModel 的 CurrentWeather 函数。它还提供了描述(2)和函数签名(3),以便模型知道函数需要哪些参数。

默认情况下,响应转换器会对 Response 对象进行 JSON 序列化。
FunctionToolCallback 在内部根据 MockWeatherService.Request 类解析函数调用签名。

在 Chat 选项中指定函数

要让模型知道并调用您的 CurrentWeather 函数,您需要在 Prompt 请求中启用它

MiniMaxChatModel chatModel = ...

UserMessage userMessage = new UserMessage("What's the weather like in San Francisco, Tokyo, and Paris?");

ChatResponse response = this.chatModel.call(new Prompt(List.of(this.userMessage),
		MiniMaxChatOptions.builder().function("CurrentWeather").build())); // (1) Enable the function

logger.info("Response: {}", response);

上述用户问题将触发 3 次对 CurrentWeather 函数的调用(每个城市一次),最终响应将是这样的:

Here is the current weather for the requested cities:
- San Francisco, CA: 30.0°C
- Tokyo, Japan: 10.0°C
- Paris, France: 15.0°C

MiniMaxFunctionCallbackIT.java 测试演示了这种方法。

使用 Prompt 选项注册/调用函数

除了自动配置之外,您还可以通过 Prompt 请求动态注册回调函数

MiniMaxChatModel chatModel = ...

UserMessage userMessage = new UserMessage("What's the weather like in San Francisco, Tokyo, and Paris?");

var promptOptions = MiniMaxChatOptions.builder()
	.toolCallbacks(List.of(FunctionToolCallback.builder("CurrentWeather", new MockWeatherService()) // (1) function name and instance
        .description("Get the weather in location") // (2) function description
		.inputType(MockWeatherService.Request.class) // (3) function signature
        .build())) // function code
	.build();

ChatResponse response = this.chatModel.call(new Prompt(List.of(this.userMessage), this.promptOptions));
在 Prompt 中注册的函数在此请求的整个生命周期内默认启用。

这种方法允许根据用户输入动态选择不同的函数进行调用。

FunctionCallbackInPromptIT.java 集成测试提供了一个完整的示例,演示了如何使用 MiniMaxChatModel 注册函数并在 Prompt 请求中使用它。