关于“ spark.shuffle.consolidatefiles”的默认配置

Question

在较新版本的Spark中，“地图改组”的默认行为是什么？

我了解到spark.shuffle.consolidateFile的配置用于通过写缓冲区减少内存成本。但是我找不到配置了。我检查了配置，并从Spark 1.6.0中删除了此配置。那么，较新版本的Spark中Map Shuffling的默认行为是什么？

Answer 1

我了解到，哈希改组已由排序改组代替。因此，此配置不再有意义。