Kafka制作人和消费者失败时的电子邮件通知

时间:2015-10-20 19:02:11

标签: apache-kafka apache-zookeeper

我使用Kafka开发了一个数据管道。现在我在集群中设置了一种类型的生产者和两种类型的消费者。

  1. 制作人:从Windows服务器获取消息

  2. 消费者:消费者A使用Spark Streaming转换并呈现​​实时视图。消费者B存储RAW数据,可能对稍后构建模式有用。

  3. 出于各种原因,从网络开始,消费者不会收到任何数据,并且如果系统出现故障,消费者进程可能会死亡。

    我很想知道当消费者停止接收消息或消费者线程完全死亡时,是否有办法实现向您发送电子邮件通知的内容。卡夫卡或动物园管理员提供了一种方法吗?

    现在我正在考虑检查目标系统是否正在接收消息。但是,将来如果目标数量增加,为单个目标编写电子邮件通知系统将非常复杂。

0 个答案:

没有答案