OCI GenAI Cohere Chat

OCI GenAI 服务 提供生成式 AI Chat 功能,支持按需模型或专用 AI 集群。

OCI Chat 模型页面OCI 生成式 AI Playground 提供了关于在 OCI 上使用和托管 Chat 模型的详细信息。

前置条件

您需要一个活跃的 Oracle Cloud Infrastructure (OCI) 账户才能使用 OCI GenAI Cohere Chat 客户端。该客户端提供了四种不同的连接方式,包括使用用户和私钥的简单认证、工作负载身份认证、实例主体认证或 OCI 配置文件的认证。

添加仓库和 BOM

Spring AI artifacts 发布在 Maven Central 和 Spring Snapshot 仓库中。请参阅 仓库 部分将这些仓库添加到您的构建系统中。

为了帮助依赖管理,Spring AI 提供了一个 BOM(物料清单),以确保整个项目使用一致的 Spring AI 版本。请参阅 依赖管理 部分将 Spring AI BOM 添加到您的构建系统中。

自动配置

Spring AI 自动配置、starter 模块的 artifact 名称发生了重大变化。请参阅 升级注意事项 了解更多信息。

Spring AI 为 OCI GenAI Cohere Chat Client 提供了 Spring Boot 自动配置。要启用它,请将以下依赖项添加到您的项目的 Maven pom.xml 文件中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-oci-genai</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-oci-genai'
}
请参阅 依赖管理 部分将 Spring AI BOM 添加到您的构建文件中。

Chat 属性

连接属性

前缀 spring.ai.oci.genai 是用于配置连接到 OCI GenAI 的属性前缀。

属性 描述 默认值

spring.ai.oci.genai.authenticationType

连接到 OCI 时使用的认证类型。可以是 file, instance-principal, workload-identity, 或 simple

file

spring.ai.oci.genai.region

OCI 服务区域。

us-chicago-1

spring.ai.oci.genai.tenantId

OCI 租户 OCID,在使用 simple 认证时使用。

-

spring.ai.oci.genai.userId

OCI 用户 OCID,在使用 simple 认证时使用。

-

spring.ai.oci.genai.fingerprint

私钥指纹,在使用 simple 认证时使用。

-

spring.ai.oci.genai.privateKey

私钥内容,在使用 simple 认证时使用。

-

spring.ai.oci.genai.passPhrase

可选的私钥密码,在使用 simple 认证和受密码保护的私钥时使用。

-

spring.ai.oci.genai.file

OCI 配置文件路径。在使用 file 认证时使用。

<用户主目录>/.oci/config

spring.ai.oci.genai.profile

OCI 配置文件名称。在使用 file 认证时使用。

DEFAULT

spring.ai.oci.genai.endpoint

可选的 OCI GenAI 端点。

-

配置属性

Chat 自动配置的启用和禁用现在通过前缀为 spring.ai.model.chat 的顶层属性进行配置。要启用,设置 spring.ai.model.chat=oci-genai(默认启用)。要禁用,设置 spring.ai.model.chat=none(或任何不匹配 oci-genai 的值)。此更改是为了允许多个模型的配置。

前缀 spring.ai.oci.genai.chat.cohere 是用于配置 OCI GenAI Cohere Chat 的 ChatModel 实现的属性前缀。

属性 描述 默认值

spring.ai.model.chat

启用 OCI GenAI Cohere Chat 模型。

oci-genai

spring.ai.oci.genai.chat.cohere.enabled (no longer valid)

启用 OCI GenAI Cohere Chat 模型。

true

spring.ai.oci.genai.chat.cohere.options.model

模型 OCID 或端点

-

spring.ai.oci.genai.chat.cohere.options.compartment

模型隔间 OCID。

-

spring.ai.oci.genai.chat.cohere.options.servingMode

使用的模型服务模式。可以是 on-demanddedicated

on-demand

spring.ai.oci.genai.chat.cohere.options.preambleOverride

覆盖 Chat 模型的 Prompt 前导语

-

spring.ai.oci.genai.chat.cohere.options.temperature

推理温度

-

spring.ai.oci.genai.chat.cohere.options.topP

Top P 参数

-

spring.ai.oci.genai.chat.cohere.options.topK

Top K 参数

-

spring.ai.oci.genai.chat.cohere.options.frequencyPenalty

值越高将减少重复的 token,输出将更随机。

-

spring.ai.oci.genai.chat.cohere.options.presencePenalty

值越高会鼓励生成包含未使用过的 token 的输出。

-

spring.ai.oci.genai.chat.cohere.options.stop

将结束补全生成的文本序列列表。

-

spring.ai.oci.genai.chat.cohere.options.documents

Chat 上下文中使用的文档列表。

-

所有带有 spring.ai.oci.genai.chat.cohere.options 前缀的属性都可以在运行时通过向 Prompt 调用添加请求特定的 运行时选项 来覆盖。

运行时选项

OCICohereChatOptions.java 提供了模型配置,例如要使用的模型、温度、频率惩罚等。

启动时,可以使用 OCICohereChatModel(api, options) 构造函数或 spring.ai.oci.genai.chat.cohere.options.* 属性配置默认选项。

在运行时,您可以通过向 Prompt 调用添加新的、特定于请求的选项来覆盖默认选项。例如,为特定请求覆盖默认模型和温度

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        OCICohereChatOptions.builder()
            .model("my-model-ocid")
            .compartment("my-compartment-ocid")
            .temperature(0.5)
        .build()
    ));

示例控制器

创建 一个新的 Spring Boot 项目并将 spring-ai-starter-model-oci-genai 添加到您的 pom(或 gradle)依赖项中。

src/main/resources 目录下添加一个 application.properties 文件,以启用和配置 OCI GenAI Cohere Chat 模型

spring.ai.oci.genai.authenticationType=file
spring.ai.oci.genai.file=/path/to/oci/config/file
spring.ai.oci.genai.cohere.chat.options.compartment=my-compartment-ocid
spring.ai.oci.genai.cohere.chat.options.servingMode=on-demand
spring.ai.oci.genai.cohere.chat.options.model=my-chat-model-ocid
file, compartmentmodel 替换为您在 OCI 账户中的值。

这将创建一个 OCICohereChatModel 实现,您可以将其注入到您的类中。以下是一个简单的 @Controller 类示例,它使用 Chat 模型进行文本生成。

@RestController
public class ChatController {

    private final OCICohereChatModel chatModel;

    @Autowired
    public ChatController(OCICohereChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        var prompt = new Prompt(new UserMessage(message));
        return chatModel.stream(prompt);
    }
}

手动配置

OCICohereChatModel 实现了 ChatModel 接口并使用 OCI Java SDK 连接到 OCI GenAI 服务。

spring-ai-oci-genai 依赖项添加到您的项目的 Maven pom.xml 文件中

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-oci-genai</artifactId>
</dependency>

或添加到您的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-oci-genai'
}
请参阅 依赖管理 部分将 Spring AI BOM 添加到您的构建文件中。

接下来,创建并使用 OCICohereChatModel 进行文本生成

var CONFIG_FILE = Paths.get(System.getProperty("user.home"), ".oci", "config").toString();
var COMPARTMENT_ID = System.getenv("OCI_COMPARTMENT_ID");
var MODEL_ID = System.getenv("OCI_CHAT_MODEL_ID");

ConfigFileAuthenticationDetailsProvider authProvider = new ConfigFileAuthenticationDetailsProvider(
        CONFIG_FILE,
        "DEFAULT"
);
var genAi = GenerativeAiInferenceClient.builder()
        .region(Region.valueOf("us-chicago-1"))
        .build(authProvider);

var chatModel = new OCICohereChatModel(genAi, OCICohereChatOptions.builder()
        .model(MODEL_ID)
        .compartment(COMPARTMENT_ID)
        .servingMode("on-demand")
        .build());

ChatResponse response = chatModel.call(
        new Prompt("Generate the names of 5 famous pirates."));

OCICohereChatOptions 提供了 Chat 请求的配置信息。OCICohereChatOptions.Builder 是一个流式的选项构建器。