Flume:我们可以在使用kafka通道的同时使用kafka主题和分区动态创建hdfs路径(hdfs-sink)

时间:2018-10-16 08:21:10

标签: hadoop apache-kafka flume

我正在将数据发送到具有多个分区的kafka主题。

例如,一个具有10个分区的主题,我想基于分区(在多个hdfs目录中)将数据保存在hdfs路径中。

例如,我的hdfs路径目录应类似于: / topicname / partition1, / topicname / partition2等。

我正在使用Kafka频道-org.apache.flume.channel.kafka.KafkaChannel。

0 个答案:

没有答案
相关问题