Kafka消息队列中,如何设置Consumer消费者配置?

2026-06-10 06:121阅读0评论SEO问题
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计1085个文字,预计阅读时间需要5分钟。

Kafka消息队列中,如何设置Consumer消费者配置?

1、为什么会有消费者群?单个消费者消费能力有限,消费能力可能随着生产消息速度的加快而受限。通过指定消费者群,并不断向消费者群中增加消费者,可以增强消费处理能力。

1、为什么会有消费者组?

单个消费者消费能力有限,消费能力可能跟不上生产消息的速度。通过指定消费者组,并不断往消费者组里增加消费者,增强消费处理能力。当然,若消费能力过强,而生产消费速度太慢,可以减少消费者组中消费者数量,避免消费者空转。综上消费者组能够实现消费能力的动态伸缩。

由上图可知以下两点:

第一:topic中的一个partition只能由同一个消费者组中的一个消费者消费

由此可见,消费者组增加或减少消费者之后,消费者

第二:一个topic能够被多个消费者组消费,且消费者组之间互不干扰。


2、什么是再均衡(Rebalance)

再均衡(Rebalance):消费者组增加或减少消费者之后,主题中的分区会重新分配给不同的消费者。

Rebalance能够调整topic中分区与消费者的对应关系,当某个消费者宕机或者新增加消费者中,Rebalance能够动态调整分区与消费者的对应关系,给消费者组提供高可用性与伸缩性。

Rebalance带了高可用性与伸缩性的优点,那缺点是什么?

JVM中有个stop the world的概念,就是在进行垃圾回收时,所有线程会停止工作。Rebalance与stop the world类似,即再平衡期间,所有的消费者都会停止消费。

阅读全文

本文共计1085个文字,预计阅读时间需要5分钟。

Kafka消息队列中,如何设置Consumer消费者配置?

1、为什么会有消费者群?单个消费者消费能力有限,消费能力可能随着生产消息速度的加快而受限。通过指定消费者群,并不断向消费者群中增加消费者,可以增强消费处理能力。

1、为什么会有消费者组?

单个消费者消费能力有限,消费能力可能跟不上生产消息的速度。通过指定消费者组,并不断往消费者组里增加消费者,增强消费处理能力。当然,若消费能力过强,而生产消费速度太慢,可以减少消费者组中消费者数量,避免消费者空转。综上消费者组能够实现消费能力的动态伸缩。

由上图可知以下两点:

第一:topic中的一个partition只能由同一个消费者组中的一个消费者消费

由此可见,消费者组增加或减少消费者之后,消费者

第二:一个topic能够被多个消费者组消费,且消费者组之间互不干扰。


2、什么是再均衡(Rebalance)

再均衡(Rebalance):消费者组增加或减少消费者之后,主题中的分区会重新分配给不同的消费者。

Rebalance能够调整topic中分区与消费者的对应关系,当某个消费者宕机或者新增加消费者中,Rebalance能够动态调整分区与消费者的对应关系,给消费者组提供高可用性与伸缩性。

Rebalance带了高可用性与伸缩性的优点,那缺点是什么?

JVM中有个stop the world的概念,就是在进行垃圾回收时,所有线程会停止工作。Rebalance与stop the world类似,即再平衡期间,所有的消费者都会停止消费。

阅读全文