spark sql job

时间:2017-02-07 13:40:27

标签: apache-spark apache-spark-sql cloudera

我正在使用使用spark 1.6.0构建的Cloudera 5.8.3发行版。我通过oozie提交了一个Spark工作(它作为java动作提交)

我可以看到作业已成功完成,也可以在Spark历史记录服务器上找到它(它也适用于Spark 1.6.0)。我还可以看到所有执行程序/应用程序/作业/阶段/任务级别的详细信息。

但是,我也知道spark为spark数据帧提供了更好的日志记录,我没有看到该选项卡。 这就是我所说的观点:Sql Tab

我不确定其他细节与此相关或在哪里寻找。希望得到一些指示。

谢谢!

1 个答案:

答案 0 :(得分:0)

历史服务器上的SQL选项卡已添加到Spark 2.0.0中。见https://issues.apache.org/jira/browse/SPARK-11206

相关问题