如何查看Spark独立群集的聚合日志

Question

Spark运行Yarn后，我可以在Spark作业完成后使用yarn -logs -applicationId appId来查看聚合日志。 Spark独立集群的等效方法是什么？

Answer 1

通过Web Interface：

  

Spark的独立模式提供了一个基于Web的用户界面来监控   集群。主人和每个工人都有自己的Web UI显示   集群和工作统计。默认情况下，您可以访问Web UI   端口8080的主设备。端口可以在更改   配置文件或通过命令行选项。

     

此外，每个作业的详细日志输出也会写入   每个从属节点的工作目录（SPARK_HOME /默认工作）。您   将看到每个作业的两个文件，stdout和stderr，并将其全部输出   写信给它的控制台。

请在Monitoring and Instrumentation中找到更多信息。