配置主题

如果您在应用上下文中定义一个 `KafkaAdmin` bean,它可以自动向 broker 添加主题。为此,您可以在应用上下文中为每个主题添加一个 `NewTopic` `@Bean`。版本 2.3 引入了一个新的类 `TopicBuilder`,使创建此类 bean 更加方便。以下示例展示了如何做到这一点

  • Java

  • Kotlin

@Bean
public KafkaAdmin admin() {
    Map<String, Object> configs = new HashMap<>();
    configs.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
    return new KafkaAdmin(configs);
}

@Bean
public NewTopic topic1() {
    return TopicBuilder.name("thing1")
            .partitions(10)
            .replicas(3)
            .compact()
            .build();
}

@Bean
public NewTopic topic2() {
    return TopicBuilder.name("thing2")
            .partitions(10)
            .replicas(3)
            .config(TopicConfig.COMPRESSION_TYPE_CONFIG, "zstd")
            .build();
}

@Bean
public NewTopic topic3() {
    return TopicBuilder.name("thing3")
            .assignReplicas(0, List.of(0, 1))
            .assignReplicas(1, List.of(1, 2))
            .assignReplicas(2, List.of(2, 0))
            .config(TopicConfig.COMPRESSION_TYPE_CONFIG, "zstd")
            .build();
}
@Bean
fun admin() = KafkaAdmin(mapOf(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG to "localhost:9092"))

@Bean
fun topic1() =
    TopicBuilder.name("thing1")
        .partitions(10)
        .replicas(3)
        .compact()
        .build()

@Bean
fun topic2() =
    TopicBuilder.name("thing2")
        .partitions(10)
        .replicas(3)
        .config(TopicConfig.COMPRESSION_TYPE_CONFIG, "zstd")
        .build()

@Bean
fun topic3() =
    TopicBuilder.name("thing3")
        .assignReplicas(0, Arrays.asList(0, 1))
        .assignReplicas(1, Arrays.asList(1, 2))
        .assignReplicas(2, Arrays.asList(2, 0))
        .config(TopicConfig.COMPRESSION_TYPE_CONFIG, "zstd")
        .build()

从版本 2.6 开始,您可以省略 `partitions()` 和/或 `replicas()`,broker 的默认设置将应用于这些属性。broker 版本必须至少为 2.4.0 才能支持此功能 - 请参阅 KIP-464

  • Java

  • Kotlin

@Bean
public NewTopic topic4() {
    return TopicBuilder.name("defaultBoth")
            .build();
}

@Bean
public NewTopic topic5() {
    return TopicBuilder.name("defaultPart")
            .replicas(1)
            .build();
}

@Bean
public NewTopic topic6() {
    return TopicBuilder.name("defaultRepl")
            .partitions(3)
            .build();
}
@Bean
fun topic4() = TopicBuilder.name("defaultBoth").build()

@Bean
fun topic5() = TopicBuilder.name("defaultPart").replicas(1).build()

@Bean
fun topic6() = TopicBuilder.name("defaultRepl").partitions(3).build()

从版本 2.7 开始,您可以在单个 `KafkaAdmin.NewTopics` bean 定义中声明多个 `NewTopic`。

  • Java

  • Kotlin

@Bean
public KafkaAdmin.NewTopics topics456() {
    return new NewTopics(
            TopicBuilder.name("defaultBoth")
                .build(),
            TopicBuilder.name("defaultPart")
                .replicas(1)
                .build(),
            TopicBuilder.name("defaultRepl")
                .partitions(3)
                .build());
}
@Bean
fun topics456() = KafkaAdmin.NewTopics(
    TopicBuilder.name("defaultBoth")
        .build(),
    TopicBuilder.name("defaultPart")
        .replicas(1)
        .build(),
    TopicBuilder.name("defaultRepl")
        .partitions(3)
        .build()
)
使用 Spring Boot 时,`KafkaAdmin` bean 会自动注册,因此您只需要 `NewTopic`(和/或 `NewTopics`)`@Bean`。

默认情况下,如果 broker 不可用,会记录一条消息,但上下文会继续加载。您可以编程式调用 admin 的 `initialize()` 方法稍后重试。如果您希望此条件被视为致命错误,请将 admin 的 `fatalIfBrokerNotAvailable` 属性设置为 `true`。此时上下文将无法初始化。

如果 broker 支持(1.0.0 或更高版本),admin 会在发现现有主题的分区少于 `NewTopic.numPartitions` 时增加分区数量。

从版本 2.7 开始,`KafkaAdmin` 提供了在运行时创建和检查主题的方法。

  • createOrModifyTopics

  • describeTopics

对于更高级的功能,您可以直接使用 `AdminClient`。以下示例展示了如何做到这一点

@Autowired
private KafkaAdmin admin;

...

    AdminClient client = AdminClient.create(admin.getConfigurationProperties());
    ...
    client.close();

从版本 2.9.10、3.0.9 开始,您可以提供一个 `Predicate<NewTopic>`,用于确定是否应考虑创建或修改特定的 `NewTopic` bean。例如,如果您有指向不同集群的多个 `KafkaAdmin` 实例,并且希望选择应由每个 admin 创建或修改的主题,这将非常有用。

admin.setCreateOrModifyTopic(nt -> !nt.name().equals("dontCreateThisOne"));