Kafka Streams 内部主题重定向

时间:2021-06-08 13:28:38

标签: apache-kafka apache-kafka-streams kafka-topic

目前正在使用 Kafka Streams 来聚合客户系统中的事件。当使用假事件运行我们的原型时,一切正常。但是,在使用实际数据时,我们注意到在聚合过程中,Streams 会自动创建内部主题。虽然理论上这很好,但我们的客户有必要的、超严格的安全性,并且不愿意授予我的开发团队主题创建权限。这意味着我们不能按原样运行我们的 Streams 程序。

不过,我们可以为我们创建主题并使用这些主题而不是 Streams 创建自己的 Kafka 主题。是否有可能/如何开始重定向 Streams 内部主题创建以利用现有主题?

注意:我们可以随意命名内部主题。它只需要由拥有这些权限的团队创建。

1 个答案:

答案 0 :(得分:0)

在 Kafka Streams 中,现在有 KStream 和 KTable 的重载方法,它们接受一个新参数 Named。通过使用命名类 DSL,用户可以为其拓扑中的处理器提供有意义的名称。

df1 = pd.read_csv("#FileNameHere")

现在,看看您的拓扑结构,所有处理器都命名为:

现在您可以查看拓扑描述并轻松了解每个处理器在拓扑中扮演的角色。但是,当您在 Kafka Streams 应用程序、状态存储、变更日志主题和重新分区主题之间保留有状态运算符时,命名处理器节点还有另一个原因,这与使用生成名称的处理器节点的潜在名称转换有关.

相关问题