使用 RabbitMQ 绑定器进行分区

RabbitMQ 本身不支持分区。

有时,将数据发送到特定分区是有利的——例如,当您希望严格按顺序处理消息时,某个特定客户的所有消息都应发送到同一分区。

RabbitMessageChannelBinder 通过为每个分区绑定一个队列到目标交换机来实现分区。

以下 Java 和 YAML 示例展示了如何配置生产者

生产者
@SpringBootApplication
public class RabbitPartitionProducerApplication {

    private static final Random RANDOM = new Random(System.currentTimeMillis());

    private static final String[] data = new String[] {
            "abc1", "def1", "qux1",
            "abc2", "def2", "qux2",
            "abc3", "def3", "qux3",
            "abc4", "def4", "qux4",
            };

    public static void main(String[] args) {
        new SpringApplicationBuilder(RabbitPartitionProducerApplication.class)
            .web(false)
            .run(args);
    }

    @Bean
    public Supplier<Message<?>> generate() {
        return () -> {
            String value = data[RANDOM.nextInt(data.length)];
            System.out.println("Sending: " + value);
            return MessageBuilder.withPayload(value)
                    .setHeader("partitionKey", value)
                    .build();
        };
    }

}
application.yml
    spring:
      cloud:
        stream:
          bindings:
            generate-out-0:
              destination: partitioned.destination
              producer:
                partitioned: true
                partition-key-expression: headers['partitionKey']
                partition-count: 2
                required-groups:
                - myGroup

上述示例中的配置使用了默认分区(key.hashCode() % partitionCount)。这可能无法提供一个均衡的算法,具体取决于键值。您可以通过使用 partitionSelectorExpressionpartitionSelectorClass 属性来覆盖此默认设置。

只有当您需要在部署生产者时预置消费者队列时,才需要 required-groups 属性。否则,任何发送到分区的消息都会丢失,直到相应的消费者部署为止。

以下配置预置了一个主题交换机

part exchange

以下队列绑定到该交换机

part queues

以下绑定将队列与交换机关联

part bindings

以下 Java 和 YAML 示例继续前面的示例,并展示了如何配置消费者

消费者
@SpringBootApplication
public class RabbitPartitionConsumerApplication {

    public static void main(String[] args) {
        new SpringApplicationBuilder(RabbitPartitionConsumerApplication.class)
            .web(false)
            .run(args);
    }

    @Bean
    public Consumer<Message<String>> listen() {
        return message -> {
            String queue =- message.getHeaders().get(AmqpHeaders.CONSUMER_QUEUE);
            System.out.println(in + " received from queue " + queue);
        };
    }

}
application.yml
    spring:
      cloud:
        stream:
          bindings:
            listen-in-0:
              destination: partitioned.destination
              group: myGroup
              consumer:
                partitioned: true
                instance-index: 0
RabbitMessageChannelBinder 不支持动态扩展。每个分区必须至少有一个消费者。消费者的 instanceIndex 用于指示消费哪个分区。像 Cloud Foundry 这样的平台只能有一个具有 instanceIndex 的实例。
© . This site is unofficial and not affiliated with VMware.