此StorageLevel如何在CreateStream中为Kafka和Mqtt工作

时间:2016-12-21 06:08:43

标签: scala apache-spark spark-streaming

我正在为kafkaUtils使用createStream,如:

KafkaUtils.createStream[String, String, StringDecoder, PcapDecoder](
  ssc, 
  kafkaParams, 
  Map(topic -> 1), 
  StorageLevel.MEMORY_AND_DISK
).map(_._2) 

和MqttUtils一样:

MQTTUtils.createStream(ssc, url, topic, StorageLevel.MEMORY_ONLY_SER_2)

但它需要巨大的记忆力。我们如何解析存储的数据。或者默认情况下它会不会出现?

0 个答案:

没有答案
相关问题