用于在mesos主服务器上订阅的spark驱动程序的端口配置

时间:2017-05-15 09:03:35

标签: apache-spark spark-streaming mesos

我有一个连接到我的Mesos主人的火花驱动程序。驱动程序正在侦听我的Mesos主机的特定端口以获取资源优惠

  

在scheduler-901ab680-7098-4cb0-ab27-4b293285a2b6@xxx.xx.xx.xxx:57033收到框架'简单kafka应用程序'的SUBSCRIBE调用

我想配置此端口,因为我需要在我的计算机上将此端口列入白名单。 我无法弄清楚这会是什么样的。我已经配置了spark.driver.port和广播端口,但我很确定在这种情况下不会使用它们。

1 个答案:

答案 0 :(得分:0)

要使用自定义端口与Mesos进行通信,您需要指定LIBPROCESS_PORT环境变量以及应使用的端口号。默认情况下,它未设置或设置为0,这会导致随机端口。

export LIBPROCESS_PORT=<PORT>
相关问题