是否可以动态地在2个Kafka主题之间插入流处理器?

时间:2019-02-05 16:26:03

标签: apache-kafka apache-kafka-streams apache-kafka-connect

我是Kafka和数据架构流的新手,我对主题设计和拓扑有疑问。

我的流程真的很标准。

  • 传入的数据测量流->第一个主题T1
  • 数据卫生(空值,高/低,转换, 格式等)->第二个主题T2
  • 数据处理->第三个主题T3
  • 数据持久性->第四主题T4
  • 数据接收器->放入TS-DB(例如InfluxDB)

我想做的是能够在这些主题之间动态插入自定义流处理器。

例如,在主题T2之后和T3之前的消息中添加另一个参数。因此,我将创建一个主题T2.5,然后重新路由T2以发送到T2.5,并将T2.5发送到T3。

一种方法是更新T2和T3连接器,然后通过Connect REST API插入另一个。但是为此,我将不得不为我拥有的每个新需求/案例创建一个自定义连接器。

还有另一种方法吗?

我也将接受这样的回答,即我的拓扑/体系结构不是针对kafka主题的最佳选择,但请提供您建议的替代示例

0 个答案:

没有答案