如何更改Spark Master的工作目录

Question

我目前正在创建一个Sparksession，像这样：

spark = SparkSession.builder.master("local").appName("myapp").getOrCreate()

我想设置spark master的工作目录。当前正在使用/ tmp，我想使用其他东西。

我注意到有一个config（..）选项，我可以做些什么：

spark = SparkSession.builder.master("local").appName("myapp").config("option", "value").getOrCreate()

某处是否有可用选项的列表？应该以其他方式完成吗？

Answer 1

我刚刚发现可以设置环境变量SPARK_LOCAL_DIRS来执行此操作，但是如果可以通过编程方式进行操作，则我更喜欢它。

Answer 2

您可以将export const store = createStore(reducer, initialState) 设置到自定义文件夹或设置环境变量spark.local.dir。 默认情况下，它使用SPARK_LOCAL_DIRS

更多详细信息，请点击https://spark.apache.org/docs/2.1.0/configuration.html#application-properties