如何在RDD分区

时间:2017-05-10 15:51:57

标签: arrays scala apache-spark

我在地图中遇到地图问题,我搜索了很多问题,所有答案都是“无法在RDD中创建RDD”,好吧,我需要在RDD中创建[key,value]对分区,这是我的问题,例如:

RDD有许多分区,其中一个是[1 => (2,11, 3,333, 3,222)],对于这个分区,我需要输出[2 => 11],[3 => (333,222)],我该怎么办?

我想到

RDD.map{case(key, value) => value.map(value(1)=>value(2)).groupByKey()}.groupByKey()

但我不知道它是否有效。

谢谢!

0 个答案:

没有答案