通过自定义配置将kafka主题镜像为独立应用程序

Question

我想将一些话题从一个经纪人反映到另一个经纪人。只是所有主题的一部分。有一个用于此的MirrorMaker工具。但我也想更改目标主题名称。另外，Custom message handler已经做到了。但是，它不符合我的需求。

对我有几个要求：

1. 可以提供每个目标主题替代的镜像主题
2. 动态检测新的源主题
3. 运行一个独立的应用程序（例如Java，Spring Boot）而不是CLI approach

有人至少对其中之一有想法吗？

Answer 1

据我所知，没有现有的工具可以完成您提到的所有事情。 Confluent的Replicator可能具有所有这些功能，但是您必须支付企业许可证的费用。这里有更多详细信息：

https://www.confluent.io/connector/confluent-kafka-replicator/

如果您不想支付Confluent许可证的费用，我的建议是构建自己的应用程序，该应用程序可以使用和生成Kafka信息。您将拥有完全的控制权，可以用Java编写它，可以实现所需的任何逻辑（自动检测新主题，在目标主题上动态更改名称，等等），还可以将其部署为普通JVM应用程序最适合您的方式（普通JVM，AWS EC2，Docker / Kubernetes应用程序等）