OCI GenAI Cohere Chat
OCI GenAI 服务提供基于按需模型或专用 AI 集成系统的生成式 AI 聊天功能。
OCI 聊天模型页面和OCI 生成式 AI 游乐场提供了有关在 OCI 上使用和托管聊天模型的详细信息。
先决条件
您需要一个活跃的Oracle Cloud Infrastructure (OCI)账户才能使用 OCI GenAI Cohere 聊天客户端。该客户端提供四种不同的连接方式,包括使用用户和私钥的简单认证、工作负载身份、实例主体或 OCI 配置文件认证。
添加存储库和 BOM
Spring AI Artifacts 发布在 Maven Central 和 Spring Snapshot 仓库中。请参阅Artifact 仓库部分,将这些仓库添加到您的构建系统。
为了帮助依赖管理,Spring AI 提供了一个 BOM(物料清单),以确保在整个项目中使用的 Spring AI 版本一致。请参阅依赖管理部分,将 Spring AI BOM 添加到您的构建系统。
自动配置
|
Spring AI 自动配置、启动模块的工件名称发生了重大变化。请参阅 升级说明 以获取更多信息。 |
Spring AI 为 OCI GenAI Cohere Chat 客户端提供了 Spring Boot 自动配置。要启用它,请将以下依赖项添加到您的项目的 Maven pom.xml 文件中
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-oci-genai</artifactId>
</dependency>
或添加到您的 Gradle build.gradle 构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-model-oci-genai'
}
| 请参阅依赖管理部分,将 Spring AI BOM 添加到您的构建文件中。 |
聊天属性
连接属性
前缀 spring.ai.oci.genai 是用于配置与 OCI GenAI 连接的属性前缀。
| 财产 | 描述 | 默认值 |
|---|---|---|
spring.ai.oci.genai.authenticationType |
向 OCI 验证时使用的认证类型。可以是 |
file |
spring.ai.oci.genai.region |
OCI 服务区域。 |
us-chicago-1 |
spring.ai.oci.genai.tenantId |
OCI 租户 OCID,在进行 |
- |
spring.ai.oci.genai.userId |
OCI 用户 OCID,在进行 |
- |
spring.ai.oci.genai.fingerprint |
私钥指纹,在进行 |
- |
spring.ai.oci.genai.privateKey |
私钥内容,在进行 |
- |
spring.ai.oci.genai.passPhrase |
可选的私钥密码短语,在进行 |
- |
spring.ai.oci.genai.file |
OCI 配置文件路径。在进行 |
<用户主目录>/.oci/config |
spring.ai.oci.genai.profile |
OCI 配置文件名称。在进行 |
DEFAULT |
spring.ai.oci.genai.endpoint |
可选的 OCI GenAI 端点。 |
- |
配置属性
|
聊天自动配置的启用和禁用现在通过前缀为 |
前缀 spring.ai.oci.genai.cohere.chat 是配置 OCI GenAI Cohere Chat 的 ChatModel 实现的属性前缀。
| 财产 | 描述 | 默认值 |
|---|---|---|
spring.ai.model.chat |
启用 OCI GenAI Cohere 聊天模型。 |
oci-genai |
spring.ai.oci.genai.cohere.chat.enabled (不再有效) |
启用 OCI GenAI Cohere 聊天模型。 |
true |
spring.ai.oci.genai.cohere.chat.options.model |
模型 OCID 或端点 |
- |
spring.ai.oci.genai.cohere.chat.options.compartment |
模型隔间 OCID。 |
- |
spring.ai.oci.genai.cohere.chat.options.servingMode |
要使用的模型服务模式。可以是 |
on-demand |
spring.ai.oci.genai.cohere.chat.options.preambleOverride |
覆盖聊天模型的提示序言 |
- |
spring.ai.oci.genai.cohere.chat.options.temperature |
推理温度 |
- |
spring.ai.oci.genai.cohere.chat.options.topP |
Top P 参数 |
- |
spring.ai.oci.genai.cohere.chat.options.topK |
Top K 参数 |
- |
spring.ai.oci.genai.cohere.chat.options.frequencyPenalty |
较高的值会减少重复的令牌,输出将更随机。 |
- |
spring.ai.oci.genai.cohere.chat.options.presencePenalty |
较高的值鼓励生成带有未使用令牌的输出。 |
- |
spring.ai.oci.genai.cohere.chat.options.stop |
将结束补全生成的文本序列列表。 |
- |
spring.ai.oci.genai.cohere.chat.options.documents |
聊天上下文中使用的文档列表。 |
- |
所有前缀为 spring.ai.oci.genai.cohere.chat.options 的属性都可以在运行时通过在 Prompt 调用中添加请求特定的运行时选项来覆盖。 |
运行时选项
OCICohereChatOptions.java 提供了模型配置,例如要使用的模型、温度、频率惩罚等。
在启动时,可以使用 OCICohereChatModel(api, options) 构造函数或 spring.ai.oci.genai.cohere.chat.options.* 属性配置默认选项。
在运行时,您可以通过向 Prompt 调用添加新的、请求特定的选项来覆盖默认选项。例如,为特定请求覆盖默认模型和温度
ChatResponse response = chatModel.call(
new Prompt(
"Generate the names of 5 famous pirates.",
OCICohereChatOptions.builder()
.model("my-model-ocid")
.compartment("my-compartment-ocid")
.temperature(0.5)
.build()
));
示例控制器
创建一个新的 Spring Boot 项目,并将 spring-ai-starter-model-oci-genai 添加到您的 pom (或 gradle) 依赖项中。
在 src/main/resources 目录下添加一个 application.properties 文件,以启用和配置 OCI GenAI Cohere 聊天模型。
spring.ai.oci.genai.authenticationType=file
spring.ai.oci.genai.file=/path/to/oci/config/file
spring.ai.oci.genai.cohere.chat.options.compartment=my-compartment-ocid
spring.ai.oci.genai.cohere.chat.options.servingMode=on-demand
spring.ai.oci.genai.cohere.chat.options.model=my-chat-model-ocid
将 file、compartment 和 model 替换为您的 OCI 账户中的值。 |
这将创建一个 OCICohereChatModel 实现,您可以将其注入到您的类中。以下是一个简单的 @Controller 类的示例,它使用聊天模型进行文本生成。
@RestController
public class ChatController {
private final OCICohereChatModel chatModel;
@Autowired
public ChatController(OCICohereChatModel chatModel) {
this.chatModel = chatModel;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", chatModel.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
var prompt = new Prompt(new UserMessage(message));
return chatModel.stream(prompt);
}
}
手动配置
OCICohereChatModel 实现了 ChatModel 并使用 OCI Java SDK 连接到 OCI GenAI 服务。
将 spring-ai-oci-genai 依赖项添加到您的项目的 Maven pom.xml 文件中
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-oci-genai</artifactId>
</dependency>
或添加到您的 Gradle build.gradle 构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-oci-genai'
}
| 请参阅依赖管理部分,将 Spring AI BOM 添加到您的构建文件中。 |
接下来,创建一个 OCICohereChatModel 并将其用于文本生成
var CONFIG_FILE = Paths.get(System.getProperty("user.home"), ".oci", "config").toString();
var COMPARTMENT_ID = System.getenv("OCI_COMPARTMENT_ID");
var MODEL_ID = System.getenv("OCI_CHAT_MODEL_ID");
ConfigFileAuthenticationDetailsProvider authProvider = new ConfigFileAuthenticationDetailsProvider(
CONFIG_FILE,
"DEFAULT"
);
var genAi = GenerativeAiInferenceClient.builder()
.region(Region.valueOf("us-chicago-1"))
.build(authProvider);
var chatModel = new OCICohereChatModel(genAi, OCICohereChatOptions.builder()
.model(MODEL_ID)
.compartment(COMPARTMENT_ID)
.servingMode("on-demand")
.build());
ChatResponse response = chatModel.call(
new Prompt("Generate the names of 5 famous pirates."));
OCICohereChatOptions 提供了聊天请求的配置信息。OCICohereChatOptions.Builder 是一个流畅的选项构建器。