Question

我正在开发一个Spark应用程序，其中我有RDD[Array[Array[Float]]，我想将其转换为RDD[Float]。我有以下代码为我执行此任务：

val values = predictions.flatMap { x => (for(y <- 0 to x.length - 1) yield x(y)).map(c => c(0)) }

但是我不知道在使用flatMap之后是否更改了元素的顺序？如果是这样，是否有任何其他解决方案保持元素的顺序完整？

Answer 1

是的，flatMap保持订单不变。 map，filter等

也是如此

Answer 2

我查看了Spark源代码。

def flatMap[U: ClassTag](f: T => TraversableOnce[U]): RDD[U] = withScope {
    val cleanF = sc.clean(f)
    new MapPartitionsRDD[U, T](this, (context, pid, iter) => iter.flatMap(cleanF))
}

和

private[spark] class MapPartitionsRDD[U: ClassTag, T: ClassTag](
    var prev: RDD[T],
    f: (TaskContext, Int, Iterator[T]) => Iterator[U],  // (TaskContext, partition index, iterator)
    preservesPartitioning: Boolean = false)
  extends RDD[U](prev) {

  override val partitioner = if (preservesPartitioning) firstParent[T].partitioner else None

  override def getPartitions: Array[Partition] = firstParent[T].partitions

  override def compute(split: Partition, context: TaskContext): Iterator[U] =
    f(context, split.index, firstParent[T].iterator(split, context))

  override def clearDependencies() {
    super.clearDependencies()
    prev = null
  }
}

数据的顺序应保持不变，但可能会进行一些重新分区，这可能会或可能不会打扰您（取决于您正在做什么）。

flatMap是否保持订单完整？

2 个答案: