使用结构化流Kafka消耗来自Azure事件中心的数据

Question

我正在使用结构化流式Kafka集成来从事件中心流式传输数据并在控制台中进行打印，如下例所示，但是即使我能够使用org.apache.spark.eventhubs在控制台中显示数据，控制台上也无法显示任何内容结构化的流API。

import org.apache.spark.sql.kafka010._

val spark = SparkSession.builder()
    .master("local[*]")
    .appName("kafkaeventhubconsumer")
    .getOrCreate()

val df = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "<EVENT_HUB_FQDN>:9093")
  .option("subscribe", "<EVENT_HUB_NAME>")
  .option("security.protocol", "SASL_SSL")
  .option("sasl.mechanism" , "PLAIN")
  .option("sasl.jaas.config", """org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="<CONNECTION_STRING>";""")
  .load()
  
df.writeStream.outputMode("append").format("console").option("truncate", false).start().awaitTermination()