我正在努力通过我的Storm设置实现最高性能。我正在通过Kafka发送数以万计的消息,这些消息将被风暴拓扑结构接收。
当我查看Storm UI时,我注意到所有消息都发送到单个执行程序而不是在所有执行程序之间进行负载平衡。 (见附页截图)。
这有什么原因以及如何加载平衡 Kafka消息?
答案 0 :(得分:1)
Since you have 3 partitions, try creating the Kafka Spout with a parallelism hint of 3 and HBase Bolt with a parallelism hint of 3. Use Partial Key grouping in the HBase Bolt to load balance the messages between the bolts on the basis of a key.