Spark URL用法:主机名与IP地址

时间:2016-02-24 03:26:31

标签: url apache-spark hostname

我遇到一个奇怪的问题,我不确定它是Spark使用限制还是配置问题。

我在独立模式下运行Spark 1.5.1。我的群集中只有一个节点。所有服务状态都可以。当我访问Spark网址时,Spark URL是spark://c910f04x12.pok.test.com:7077我可以成功提交作业并使用URL启动远程Spark shell,然后将主机长名称更改为IP地址:spark://10.4.12.1:7077但失败了。然后,我检查主输出,它是由akka删除的消息引起的

16/02/22 10:55:06错误ErrorMonitor:为非本地收件人删除消息[class akka.actor.ActorSelectionMessage] [Actor [akka.tcp://sparkMaster@10.4.12.1:7077 /]]到达[akka.tcp://sparkMaster@10.4.12.1:7077]入境地址为[akka.tcp://sparkMaster@c910f04x12.pok.test.com:7077]

然后,我停止服务并在spark-evn.sh中将SPARK_MASTER_IP设置为10.4.12.1,然后启动服务,我发现spark URL更改为spark://10.4.12.1:7077然后我可以使用IP格式的URL成功提交作业但如果我更改为主机名,则提交将再次失败。类似的日志只是将主机名更改为IP。

那么,这是我的使用错误或Spark中的使用限制,URL必须是完全相同的字符串,但不能被IP或主机名替换?

顺便说一下,我使用nslookup来测试我的主机名和IP,结果是对的。我还尝试在/ etc / hosts中添加一个长名称和IP映射,但没有任何帮助。

0 个答案:

没有答案
相关问题