如何优化Kafka消费者解析效率？

本文共计10554个文字，预计阅读时间需要43分钟。

一、消费者相关概览

1.1 消费者消费量相关统计

消费者组消费量：消费者组内所有消费者消费的总数量消费者消费量：单个消费者消费的消息数量消费者：消费者从Kafka消费消息的实体：消费者从订阅的主题中消费消息：消费者消费消息的偏移量存储在Kafka的`__consumer_offsets`主题中：消费者偏移量可以存储到Zookeeper中

一、消费者相关概念 1.1 消费组&消费者

消费者：

• 消费者从订阅的主题消费消息，消费消息的偏移量保存在Kafka的名字是__consumer_offsets的主题中
• 消费者还可以将⾃⼰的偏移量存储到Zookeeper，需要设置offset.storage=zookeeper
• 推荐使⽤Kafka存储消费者的偏移量。因为Zookeeper不适合⾼并发。

消费组：

• 多个从同⼀个主题消费的消费者可以加⼊到⼀个消费组中
• 消费组中的消费者共享group_id。配置方法：configs.put("group.id", "xxx");
• group_id⼀般设置为应⽤的逻辑名称。