如何使用CreatDirectStream获取kafka消息的主题？

Question

我正在使用Kafk的spark-streaming，我正在尝试使用这种方法来获取Kafka消息的主题：

val messages = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder, Tuple2[String, String]](ssc, kafkaParams, topics, (mmd: MessageAndMetadata[String, String]) => { (msg.topic, msg.message)})

但是Intellij无法导入kafka.message.MessageAndMetada。我找不到这个导入。我如何获得该主题？有没有其他方法可以得到它？

目标是以不同的方式处理来自每个主题的消息，因此我需要知道每条消息的主题。

Answer 1

您可以在kafka library内找到由spark-streaming-kafka提供的课程kafka.message.MessageAndMetada，因此您似乎缺少此依赖关系。