How can I effectively rebalance my portfolio?

本文共计1314个文字，预计阅读时间需要6分钟。

上篇文章讲述了Kafka通过`enable.auto.commit`控制手动提交还是自动提交。手动提交又分为异步提交和同步提交，还可以指定分区进行提交，默认是提交给所有分区。手动提交可以精确控制消息的提交时机。

上篇文章说了，kafka位移提交通过enable.auto.commit控制手动提交还是自动提交，手动提交又分为异步提交和同步提交，还可以指定分区进行提交，默认是提交给所有分区。手动提交可以对应不同的业务场景，当需要业务全部处理完才提交位移，则可以选择手动提交，但这时候需要做幂等性处理，因为当业务执行完毕，但系统宕机，这时候consumer重启则因为位移没提交会重复消费之前的数据。

一、Rebalance

Rebalance是什么？

它本质是一组协议，规定了consumer group如何达成一致性来分配订阅所有分区的。假设有20个consumer，需要订阅100个分区的topic，这时候就会每个consumer会平均订阅5个分区，这个过程就是rebalace。

和旧版本依托于zookeeper不同，新版本consumer使用了kafka内置一个权限的协调协议（group coordination protocol）。