是否可以在运行时更改Spark参数？

Question

我目前正在研究Spark，并试图提出一个自适应执行计划。但是，我想知道是否可以在运行时修改Spark引擎的参数。例如，我可以在两个不同的阶段使用不同的压缩编解码器，还是可以在运行时修改为改组和计算而保留的内存部分？对于map阶段来说，我会减少分配给改组的内存部分，以便在改组发生时稍后增加它？

谢谢

Answer 1

通常不可能。

虽然可以使用（Customize SparkContext using sparkConf.set(..) when using spark-shell）RuntimeConfig对象在运行时更改配置选项的子集，但除非重新启动SparkContext，否则不能修改核心选项。