我可以使用spark 2.3.0和pyspark从Kafka进行流处理吗？

Question

我将使用pyspark进行流处理，并使用Kafka作为数据源。

我发现Spark Python API不支持Kafka 0.10连接器。

我可以在Spark 2.3.0中使用Kafka 0.8连接器，不管它是否已被弃用？

Answer 1

已弃用，但未删除。你可以使用它。

但是，您可能对结构化流媒体感兴趣，它在Python中支持Kafka 0.10 - 链接here。这是Spark中新的Streaming API，它将取代DStreams