Question

如果我的spark-env.sh文件

中有如下所示的行

export MY_JARS==$(jars=(/my/lib/dir/*.jar); IFS=,; echo "${jars[*]}")

给我一个逗号分隔的/my/lib/dir中的jar列表，有没有办法指定

spark.jars $MY_JARS

在spark-defaults.conf？

Answer 1

tl; dr 不，它不能，但是的解决方案。

Spark将conf文件作为属性文件读取，不需要任何额外的env var替换。

然而，您可以使用MY_JARS（追加）将spark-env.sh的计算值spark-defaults.conf直接写入>>。最后的胜利，所以不用担心会有很多相似的条目。

Answer 2

我尝试使用Spark 1.4并没有奏效。 spark-defaults.conf 是一个Key / value，看起来似乎没有评估值。