spark和java的新手,所以看起来可能像是一个幼稚的问题。
我正在尝试运行Spark Streaming App,其中我想将.properties文件中的属性设置为:
log4j.appender.RollingAppenderU.File = <path-prefix>/<env_variable_user>
基本上,我想基于在datanode上设置的环境变量env_variable_user
设置路径值。我可以看到env_variable_user
在datanode中设置了,但是有些不采用env变量中设置的值。
我尝试通过:
--conf "spark.env_variable_user=prestaging"
在spark-submit
中,但仍然无法使用env_variable_user
设置属性
将设置值尝试为:
log4j.appender.RollingAppenderU.File=/dilkashm/DirectKafkaStreamingExecutor-app_${env:env_variable_user}.log
也为:
log4j.appender.RollingAppenderU.File=/dilkashm/DirectKafkaStreamingExecutor-app_${env_variable_user}.log
但没有成功。