如何手动在Kafka中精确控制并调整长尾词的offset？

本文共计2133个文字，预计阅读时间需要9分钟。

使用KafkaStream，每个消费者与其对应的partition建立流读取Kafka上的数据。当消费者接收到数据后，Kafka会自动维护该消费者对应的offset。例如，在获取到Kafka的消息后，系统会正确更新该消费者的offset。

之前使用kafka的KafkaStream，让每个消费者和对应的patition建立对应的流来读取kafka上面的数据，如果comsumer得到数据，那么kafka就会自动去维护该comsumer的offset，例如在获取到kafka的消息后正准备入库（未入库），但是消费者挂了，那么如果让kafka自动去维护offset，它就会认为这条数据已经被消费了，那么会造成数据丢失。