Kafka突然发送较少数量的邮件

时间:2019-03-22 04:15:12

标签: apache-kafka spark-streaming kafka-consumer-api

我已经实现了火花流,目前正在对此进行测试。我已经提交了程序,看起来不错。但是突然之间,经过10个小时,它开始表现异常。

每批记录的平均记录数(10秒)约为60万条消息。但是突然间,尽管有成千上万的消息,但几批消息的数量却达到了1000。然后数量增加到数百万,如下所述。而且,当消息数为千时,总延迟是巨大的

log - Batch completed, Total delay :19786 ms for messages:1000
log - Batch completed, Total delay :18787 ms for messages:1000
log - Batch completed, Total delay :16476 ms for messages:1000
log - Batch completed, Total delay :13354 ms for messages:1000
log - Batch completed, Total delay :10290 ms for messages:1000
...
...
log - Batch completed, Total delay :5103 ms for messages:311500
log - Batch completed, Total delay :7599 ms for messages:610250
log - Batch completed, Total delay :7358 ms for messages:803000
log - Batch completed, Total delay :7833 ms for messages:1091250
log - Batch completed, Total delay :7219 ms for messages:1393250
log - Batch completed, Total delay :9601 ms for messages:1930000
log - Batch completed, Total delay :8718 ms for messages:2010250

不确定这些少量消息是积压消息还是由于其他一些配置。您能否让我知道为什么我突然突然只批量接收1000条消息,然后计数急剧增加。这些消息(以1000为单位)是旧批次的吗?

此外,虽然批处理的执行时间少于10s,但不确定这些低消息的延迟时间为何太长

Total delay: 113.748 s for time 1553181660000 ms (execution: 8.314 s)

这是因为它们来自旧批次吗?

谢谢

0 个答案:

没有答案
相关问题