图像模型API
Spring 图像模型API旨在提供一个简单且可移植的接口，用于与各种专门从事图像生成的AI模型进行交互，允许开发者以最少的代码更改在不同的图像相关模型之间切换。此设计符合Spring模块化和可互换性的理念，确保开发者可以快速使其应用程序适应与图像处理相关的不同AI功能。
此外，在ImagePrompt用于输入封装和ImageResponse用于输出处理等配套类的支持下，图像模型API统一了与专门用于图像生成的AI模型的通信。它管理请求准备和响应解析的复杂性，为图像生成功能提供了直接和简化的API交互。
Spring 图像模型API建立在Spring AI 通用模型API之上，提供图像特定的抽象和实现。
图像模型
这里是ImageModel接口定义
@FunctionalInterface
public interface ImageModel extends Model<ImagePrompt, ImageResponse> {
ImageResponse call(ImagePrompt request);
}ImagePrompt
ImagePrompt是一个ModelRequest，它封装了ImageMessage对象的列表和可选的模型请求选项。以下列表显示了ImagePrompt类的截断版本，不包括构造函数和其他实用方法
public class ImagePrompt implements ModelRequest<List<ImageMessage>> {
private final List<ImageMessage> messages;
private ImageOptions imageModelOptions;
@Override
public List<ImageMessage> getInstructions() {...}
@Override
public ImageOptions getOptions() {...}
// constructors and utility methods omitted
}ImageMessage
ImageMessage类封装了要使用的文本以及该文本在影响生成的图像时应具有的权重。对于支持权重的模型，权重可以是正数或负数。
public class ImageMessage {
private String text;
private Float weight;
public String getText() {...}
public Float getWeight() {...}
// constructors and utility methods omitted
}ImageOptions
表示可以传递给图像生成模型的选项。ImageOptions接口扩展了ModelOptions接口，用于定义可以传递给AI模型的少数可移植选项。
ImageOptions接口定义如下
public interface ImageOptions extends ModelOptions {
Integer getN();
String getModel();
Integer getWidth();
Integer getHeight();
String getResponseFormat(); // openai - url or base64 : stability ai byte[] or base64
}此外，每个模型特定的ImageModel实现都可以有自己的选项，可以传递给AI模型。例如，OpenAI图像生成模型有自己的选项，如quality、style等。
这是一个强大的功能，允许开发者在启动应用程序时使用模型特定的选项，然后在运行时使用ImagePrompt覆盖它们。
ImageResponse
ImageResponse类的结构如下
public class ImageResponse implements ModelResponse<ImageGeneration> {
private final ImageResponseMetadata imageResponseMetadata;
private final List<ImageGeneration> imageGenerations;
@Override
public ImageGeneration getResult() {
// get the first result
}
@Override
public List<ImageGeneration> getResults() {...}
@Override
public ImageResponseMetadata getMetadata() {...}
// other methods omitted
}ImageResponse类保存了AI模型的输出，每个ImageGeneration实例包含单个提示可能产生的多个输出之一。
ImageResponse类还带有一个ImageResponseMetadata对象，其中包含有关AI模型响应的元数据。
ImageGeneration
最后，ImageGeneration类扩展自ModelResult，表示输出响应和有关此结果的相关元数据
public class ImageGeneration implements ModelResult<Image> {
private ImageGenerationMetadata imageGenerationMetadata;
private Image image;
@Override
public Image getOutput() {...}
@Override
public ImageGenerationMetadata getMetadata() {...}
// other methods omitted
}API 文档
您可以在这里找到 Javadoc。
反馈与贡献
项目的GitHub 讨论区是发送反馈的好地方。
