OCI GenAI Cohere Chat
OCI GenAI 服务 提供生成式 AI Chat 功能,支持按需模型或专用 AI 集群。
OCI Chat 模型页面 和 OCI 生成式 AI Playground 提供了关于在 OCI 上使用和托管 Chat 模型的详细信息。
前置条件
您需要一个活跃的 Oracle Cloud Infrastructure (OCI) 账户才能使用 OCI GenAI Cohere Chat 客户端。该客户端提供了四种不同的连接方式,包括使用用户和私钥的简单认证、工作负载身份认证、实例主体认证或 OCI 配置文件的认证。
自动配置
Spring AI 自动配置、starter 模块的 artifact 名称发生了重大变化。请参阅 升级注意事项 了解更多信息。 |
Spring AI 为 OCI GenAI Cohere Chat Client 提供了 Spring Boot 自动配置。要启用它,请将以下依赖项添加到您的项目的 Maven pom.xml
文件中
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-oci-genai</artifactId>
</dependency>
或添加到您的 Gradle build.gradle
构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-model-oci-genai'
}
请参阅 依赖管理 部分将 Spring AI BOM 添加到您的构建文件中。 |
Chat 属性
连接属性
前缀 spring.ai.oci.genai
是用于配置连接到 OCI GenAI 的属性前缀。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.oci.genai.authenticationType |
连接到 OCI 时使用的认证类型。可以是 |
file |
spring.ai.oci.genai.region |
OCI 服务区域。 |
us-chicago-1 |
spring.ai.oci.genai.tenantId |
OCI 租户 OCID,在使用 |
- |
spring.ai.oci.genai.userId |
OCI 用户 OCID,在使用 |
- |
spring.ai.oci.genai.fingerprint |
私钥指纹,在使用 |
- |
spring.ai.oci.genai.privateKey |
私钥内容,在使用 |
- |
spring.ai.oci.genai.passPhrase |
可选的私钥密码,在使用 |
- |
spring.ai.oci.genai.file |
OCI 配置文件路径。在使用 |
<用户主目录>/.oci/config |
spring.ai.oci.genai.profile |
OCI 配置文件名称。在使用 |
DEFAULT |
spring.ai.oci.genai.endpoint |
可选的 OCI GenAI 端点。 |
- |
配置属性
Chat 自动配置的启用和禁用现在通过前缀为 |
前缀 spring.ai.oci.genai.chat.cohere
是用于配置 OCI GenAI Cohere Chat 的 ChatModel
实现的属性前缀。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.model.chat |
启用 OCI GenAI Cohere Chat 模型。 |
oci-genai |
spring.ai.oci.genai.chat.cohere.enabled (no longer valid) |
启用 OCI GenAI Cohere Chat 模型。 |
true |
spring.ai.oci.genai.chat.cohere.options.model |
模型 OCID 或端点 |
- |
spring.ai.oci.genai.chat.cohere.options.compartment |
模型隔间 OCID。 |
- |
spring.ai.oci.genai.chat.cohere.options.servingMode |
使用的模型服务模式。可以是 |
on-demand |
spring.ai.oci.genai.chat.cohere.options.preambleOverride |
覆盖 Chat 模型的 Prompt 前导语 |
- |
spring.ai.oci.genai.chat.cohere.options.temperature |
推理温度 |
- |
spring.ai.oci.genai.chat.cohere.options.topP |
Top P 参数 |
- |
spring.ai.oci.genai.chat.cohere.options.topK |
Top K 参数 |
- |
spring.ai.oci.genai.chat.cohere.options.frequencyPenalty |
值越高将减少重复的 token,输出将更随机。 |
- |
spring.ai.oci.genai.chat.cohere.options.presencePenalty |
值越高会鼓励生成包含未使用过的 token 的输出。 |
- |
spring.ai.oci.genai.chat.cohere.options.stop |
将结束补全生成的文本序列列表。 |
- |
spring.ai.oci.genai.chat.cohere.options.documents |
Chat 上下文中使用的文档列表。 |
- |
所有带有 spring.ai.oci.genai.chat.cohere.options 前缀的属性都可以在运行时通过向 Prompt 调用添加请求特定的 运行时选项 来覆盖。 |
运行时选项
OCICohereChatOptions.java
提供了模型配置,例如要使用的模型、温度、频率惩罚等。
启动时,可以使用 OCICohereChatModel(api, options)
构造函数或 spring.ai.oci.genai.chat.cohere.options.*
属性配置默认选项。
在运行时,您可以通过向 Prompt
调用添加新的、特定于请求的选项来覆盖默认选项。例如,为特定请求覆盖默认模型和温度
ChatResponse response = chatModel.call(
new Prompt(
"Generate the names of 5 famous pirates.",
OCICohereChatOptions.builder()
.model("my-model-ocid")
.compartment("my-compartment-ocid")
.temperature(0.5)
.build()
));
示例控制器
创建 一个新的 Spring Boot 项目并将 spring-ai-starter-model-oci-genai
添加到您的 pom(或 gradle)依赖项中。
在 src/main/resources
目录下添加一个 application.properties
文件,以启用和配置 OCI GenAI Cohere Chat 模型
spring.ai.oci.genai.authenticationType=file
spring.ai.oci.genai.file=/path/to/oci/config/file
spring.ai.oci.genai.cohere.chat.options.compartment=my-compartment-ocid
spring.ai.oci.genai.cohere.chat.options.servingMode=on-demand
spring.ai.oci.genai.cohere.chat.options.model=my-chat-model-ocid
将 file , compartment 和 model 替换为您在 OCI 账户中的值。 |
这将创建一个 OCICohereChatModel
实现,您可以将其注入到您的类中。以下是一个简单的 @Controller
类示例,它使用 Chat 模型进行文本生成。
@RestController
public class ChatController {
private final OCICohereChatModel chatModel;
@Autowired
public ChatController(OCICohereChatModel chatModel) {
this.chatModel = chatModel;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", chatModel.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
var prompt = new Prompt(new UserMessage(message));
return chatModel.stream(prompt);
}
}
手动配置
OCICohereChatModel
实现了 ChatModel
接口并使用 OCI Java SDK 连接到 OCI GenAI 服务。
将 spring-ai-oci-genai
依赖项添加到您的项目的 Maven pom.xml
文件中
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-oci-genai</artifactId>
</dependency>
或添加到您的 Gradle build.gradle
构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-oci-genai'
}
请参阅 依赖管理 部分将 Spring AI BOM 添加到您的构建文件中。 |
接下来,创建并使用 OCICohereChatModel
进行文本生成
var CONFIG_FILE = Paths.get(System.getProperty("user.home"), ".oci", "config").toString();
var COMPARTMENT_ID = System.getenv("OCI_COMPARTMENT_ID");
var MODEL_ID = System.getenv("OCI_CHAT_MODEL_ID");
ConfigFileAuthenticationDetailsProvider authProvider = new ConfigFileAuthenticationDetailsProvider(
CONFIG_FILE,
"DEFAULT"
);
var genAi = GenerativeAiInferenceClient.builder()
.region(Region.valueOf("us-chicago-1"))
.build(authProvider);
var chatModel = new OCICohereChatModel(genAi, OCICohereChatOptions.builder()
.model(MODEL_ID)
.compartment(COMPARTMENT_ID)
.servingMode("on-demand")
.build());
ChatResponse response = chatModel.call(
new Prompt("Generate the names of 5 famous pirates."));
OCICohereChatOptions
提供了 Chat 请求的配置信息。OCICohereChatOptions.Builder
是一个流式的选项构建器。