仅使用给定帐户的主题消息

时间:2019-07-15 21:45:41

标签: apache-kafka kafka-consumer-api

我有一项服务,用于计算帐户的信誉得分。它将计算结果放入名为“ ReputationScores”的Kafka主题中。每条消息看起来像这样:

{ "account" : 12345, "repScore" : 98765}

我希望我的消费者只能针对特定帐户使用 条消息。

例如,我希望有一个消费者实例,仅使用帐户12345带有主题“ ReputationScore”的消息。该实例应该是其消费者组的唯一成员。

Kafka可以根据邮件内容进行过滤吗?最好的方法是什么?

感谢您的帮助。

1 个答案:

答案 0 :(得分:1)

  

Kafka可以基于邮件内容进行过滤吗?

由于kafka本身不知道数据中的内容,因此无法将其编入索引,因此无法轻松搜索。您将需要处理整个主题,并明确检查要解析的反序列化记录。例如,这就是具有简单过滤器操作的流处理应用程序将为您提供的内容。

如果要保留按特定项目进行查找的功能,则需要制作一个分区程序以对所有感兴趣的数据进行细分,或者为每个项目创建一个主题(实际上仅适用于特定用途)情况,例如个人用户帐户)。

您可以查看将所有事件插入内存数据库,然后对该数据库执行查询