Spark - 将地图转换为RDD

Question

我需要将地图转换为RDD，以便将其保存到ES，但现在无法解决。

stream.foreachRDD {
    _.map(_._2).flatMap(l => (students zip l.split("~")).map{
      case (key, value) => key -> value
    })
   .toRDD().saveToEs() // convert map to RDD ???      
}

任何帮助？

Answer 1

基本上，我只需要导入elasticsearch包就可以在rdd上调用saveToES方法。

import import org.elasticsearch.spark._

...
stream.foreachRDD {
_.map(_._2).flatMap(l => (students zip l.split("~")).map{
  case (key, value) => key -> value
})
.saveToEs("myindex/mytype") 
}

感谢您的投入！