为什么18080端口的火花UI会说"集群模式"当我在配置文件中以客户端模式启动时?

时间:2017-04-19 18:32:31

标签: apache-spark pyspark yarn

在我的spark-defaults.conf文件中,我有以下一行:

spark.master=yarn-client

现在,我启动一项工作,然后查看spark UI(位于<master ip address>:18080),我在页面顶部看到以下内容:

REST URL: spark://<master ip address>:6066 (cluster mode)

我重新启动了所有火花工人和火花大师,并将spark-defaults.conf文件分发给所有火花工人/奴隶。
我不知道这是在集群模式还是客户端模式下运行?为什么我的设置没有被火花UI所吸引?

1 个答案:

答案 0 :(得分:1)

  

我不知道这是在集群模式还是客户端模式下运行?和   为什么我的设置没有被火花UI所吸引?

在端口18080上运行的Spark UI是spark历史记录服务器。如果您想查找特定应用程序所在的模式,请转到:18080),然后点击App ID下的任意ID,即可转到Spark Jobs页面。

在该页面上,点击Environment标签。在该标签中,查找Spark Properties部分,然后您将找到spark-master属性,该属性将告诉您该应用运行的模式。