关于Kafka Flink消费者并行性的问题

时间:2019-06-01 02:44:09

标签: apache-kafka apache-flink

我正在尝试弄清楚如何利用并行性来提高Kafka消费者的吞吐量。

从我的研究中,我了解了kafka分区(= <>)#消费者并使用重新平衡消息在每个工作人员之间均匀分布的情况。

还可以使用setParallelism(#)达到与在Storm的发言中添加更多螺栓相同的效果。在风暴中,由于存在并行性,有一个offsetManager可以处理多个未完成的偏移量。

当使用setParallelism时,Flink是否也具有管理多个偏移量的机制并确保偏移量“按顺序”提交?

从我自己的实验来看,似乎与是否启用检查点以及是否启用检查点间隔有关。

使用setParallelism时,如果一个线程被卡住,Flink如何确定未提交的偏移量是多少?

看起来像Flink能够在并行执行期间正确管理偏移量。我想了解Flink在后台如何做到这一点。

0 个答案:

没有答案
相关问题