有没有办法更改spark-submit的输出格式

Question

我正在从spark-submit运行一个python脚本，该脚本的标准输出由spark-submit输出，如下所示：

[dd-MM-yyyy HH:MM] Line1
[dd-MM-yyyy HH:MM] Line2
[dd-MM-yyyy HH:MM] Line3

反正有没有这样的输出：

Line1
Line2
Line3

我知道我可以解析输出，但是我正在尝试使代码更清晰可读，并且理想情况下，我不想硬编码要解析的行的格式。

Answer 1

使用Log4j进行火花记录。可以在conf/log4j.properties.template中找到配置模板。将此文件复制到名称为log4j.properties的同一目录中。然后是线：

log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

收件人：

log4j.appender.console.layout.ConversionPattern=%c{1}: %m%n

但是我不确定这是正确的决定。