如何在Spark数据帧中混洗行？

Question

我有一个这样的数据框：

+---+---+
|_c0|_c1|
+---+---+
|1.0|4.0|
|1.0|4.0|
|2.1|3.0|
|2.1|3.0|
|2.1|3.0|
|2.1|3.0|
|3.0|6.0|
|4.0|5.0|
|4.0|5.0|
|4.0|5.0|
+---+---+

我想在Scala中使用Spark来洗牌所有行。

如何在不返回RDD的情况下执行此操作？

Answer 1

您需要使用数据框的orderBy方法：

import org.apache.spark.sql.functions.rand
val shuffledDF = dataframe.orderBy(rand())