Oozie堆栈跟踪

Question

我正在尝试使用Spark的 SparkSubmit Java类向Oozie提交Spark工作，如

中所述

launching a spark program using oozie workflow但Java操作失败并显示错误消息

  

主类[org.apache.oozie.action.hadoop.JavaMain]，退出代码[1]

有没有办法访问执行错误日志/堆栈跟踪，以便我可以看到实际发生了什么？任何评论/答案都表示赞赏。

Answer 1

要获取java操作日志，您可以使用oozie的Web控制台查找该操作的hadoop作业ID。然后使用Hadoop的Yarn WebUI来查看hadoop作业的映射器日志。

使用命令行界面，上述步骤为：

1. 运行oozie cmd以获取hadoop作业ID：

   oozie job -info <your job id here>
   

   并在输出中查找“外部ID”，例如：job_200904281535_0254

2. 运行yarn cmd以获取hadoop作业日志：

   yarn logs -applicationId <your app id here>
   

   您可以通过在作业ID中将“job”替换为“application”来获取app id，例如application_200904281535_0254