h2o cluster multi node

时间:2017-07-27 02:06:12

标签: cluster-computing h2o

我不知道如何创建h2o多节点集群? 我尝试使用flatfile,但它仍然不起作用。

请检查日志文件:

[root @ ptdl-167 home]#java -Xmx10G -ea -jar h2o.jar -name VIPCLUS -flatfile flatfile.txt -ip 10.61.74。 202 -port 54231 07-27 09:03:42.476 10.61.74.202:54231 13206主要信息:----- H2O开始----- 07-27 09:03:42.490 10.61.74.202:54231 13206主要信息:构建git分支:rel-vapnik 07-27 09:03:42.490 10.61.74.202:54231 13206主要信息:构建git哈希:47dceae5c504ed6a2fad5de29292509d0b8024cc 07-27 09:03:42.490 10.61.74.202:54231 13206主要信息:构建git描述:jenkins-master-3905-6-g47dceae 07-27 09:03:42.490 10.61.74.202:54231 13206 main INFO:Build project version:3.12.0.1(最新版本:未知) 07-27 09:03:42.490 10.61.74.202:54231 13206主要信息:建造年龄:1个月20天 07-27 09:03:42.490 10.61.74.202:54231 13206主要信息:建立者:' jenkins' 07-27 09:03:42.490 10.61.74.202:54231 13206主要信息:建立于:' 2017-06-06 23:26:13' 07-27 09:03:42.490 10.61.74.202:54231 13206主要信息:看门狗构建git分支:(未知) 07-27 09:03:42.490 10.61.74.202:54231 13206主要信息:看门狗构建git哈希:(未知) 07-27 09:03:42.490 10.61.74.202:54231 13206主要信息:看门狗构建git描述:(未知) 07-27 09:03:42.490 10.61.74.202:54231 13206主要信息:Watchdog Build项目版本:(未知) 07-27 09:03:42.490 10.61.74.202:54231 13206主要信息:看门狗建造者:(未知) 07-27 09:03:42.490 10.61.74.202:54231 13206主要信息:看门狗建立于:(未知) 07-27 09:03:42.491 10.61.74.202:54231 13206主要信息:已处理的H2O参数:[ - name,VIPCLUS,-flatfile,flatfile.txt,-ip,10.61.74.202,-port,54231] 07-27 09:03:42.491 10.61.74.202:54231 13206主要信息:Java availableProcessors:8 07-27 09:03:42.491 10.61.74.202:54231 13206主要信息:Java堆totalMemory:238.0 MB 07-27 09:03:42.491 10.61.74.202:54231 13206主要信息:Java堆maxMemory:8.89 GB 07-27 09:03:42.491 10.61.74.202:54231 13206主要信息:Java版本:Java 1.8.0_121(来自Oracle Corporation) 07-27 09:03:42.491 10.61.74.202:54231 13206主要信息:JVM启动参数:[ - Xxx10G,-ea] 07-27 09:03:42.491 10.61.74.202:54231 13206主要信息:操作系统版本:Linux 3.10.0-514.el7.x86_64(amd64) 07-27 09:03:42.491 10.61.74.202:54231 13206主要信息:机器物理内存:15.44 GB 07-27 09:03:42.491 10.61.74.202:54231 13206主要信息:X-h2o-cluster-id:1501121020922 07-27 09:03:42.491 10.61.74.202:54231 13206主要信息:用户名:' root' 07-27 09:03:42.491 10.61.74.202:54231 13206主要信息:选择IPv6堆栈:false 07-27 09:03:42.492 10.61.74.202:54231 13206主要信息:可能的IP地址:enp0s31f6(enp0s31f6),fe80:0:0:0:f71d:d7d1:c1e9:a164%enp0s31f6 07-27 09:03:42.492 10.61.74.202:54231 13206主要信息:可能的IP地址:enp0s31f6(enp0s31f6),10.61.74.202 07-27 09:03:42.492 10.61.74.202:54231 13206主要信息:可能的IP地址:lo(lo),0:0:0:0:0:0:0:1%lo 07-27 09:03:42.492 10.61.74.202:54231 13206主要信息:可能的IP地址:lo(lo),127.0.0.1 07-27 09:03:42.492 10.61.74.202:54231 13206主要信息:H2O节点以未加密模式运行。 07-27 09:03:42.493 10.61.74.202:54231 13206主要信息:内部通信使用端口:54232 07-27 09:03:42.493 10.61.74.202:54231 13206主要信息:在http://10.61.74上侦听HTTP和REST流量。 202:54231 / 07-27 09:03:42.494 10.61.74。 202:54231 13206主WARN:Flatfile配置不包括self:/10.61.74。 202:54231但包含[/10.60.74.201:54231,/10.60.74.203:54231,/10.60.74.202:54231] 07-27 09:03:42.494 10.61.74.202:54231 13206主要信息:H2O云名称:' VIPCLUS'在/10.61.74。 202:54231,基于-flatfile flatfile.txt的静态配置 07-27 09:03:42.494 10.61.74.202:54231 13206主要信息:如果连接有问题,请尝试从本地计算机进行SSH隧道连接(例如,通过端口55555): 07-27 09:03:42.494 10.61.74.202:54231 13206主要信息:1。打开一个终端并运行' ssh -L 55555:localhost:54231 root@10.61.74.202' 07-27 09:03:42.494 10.61.74.202:54231 13206主要信息:2。将浏览器指向http:// localhost:55555 07-27 09:03:42.495 10.61.74.202:54231 13206主要信息:记录目录:' / tmp / h2o-root / h2ologs' 07-27 09:03:42.495 10.61.74.202:54231 13206主要信息:Cur dir:' / home' 07-27 09:03:42.504 10.61.74.202:54231 13206主要信息:HDFS子系统已成功初始化 07-27 09:03:42.506 10.61.74.202:54231 13206主要信息:S3子系统已成功初始化 07-27 09:03:42.506 10.61.74.202:54231 13206主要信息:Flow目录:' / root / h2oflows' 07-27 09:03:42.513 10.61.74.202:54231 13206主要信息:形成1的云[ptdl-167.viettel.com.vn/10.61.74.202:54231] 07-27 09:03:42.519 10.61.74.202:54231 13206主要信息:注册解析器:[GUESS,ARFF,XLS,SVMLight,AVRO,PARQUET,CSV] 07-27 09:03:42.519 10.61.74.202:54231 13206主要信息:看门狗扩展已初始化 07-27 09:03:42.519 10.61.74.202:54231 13206主要信息:注册1核心扩展:1ms 07-27 09:03:42.519 10.61.74.202:54231 13206主要信息:注册的H2O核心扩展:[看门狗] 07-27 09:03:42.659 10.61.74.202:54231 13206主要信息:已注册:160个REST API:140ms 07-27 09:03:42.660 10.61.74.202:54231 13206主要信息:已注册的REST API扩展:[XGBoost,water.api.RegisterResourceRoots,Core V3,Core V4,Algos,AutoML] 07-27 09:03:42.730 10.61.74.202:54231 13206主要信息:注册:在70ms内230个模式 07-27 09:03:42.731 10.61.74.202:54231 13206主要信息:H2O始于1806ms 07-27 09:03:42.731 10.61.74.202:54231 13206主要信息: 07-27 09:03:42.731 10.61.74.202:54231 13206主要信息:在您的网络浏览器中打开H2O Flow:http://10.61.74.202:54231 07-27 09:03:42.731 10.61.74.202:54231 13206主要信息: 07-27 09:04:30.291 10.61.74.202:54231 13206#02:54231错误:发送批量UDP字节时出现IO错误:java.net.NoRouteToHostException:无主机路由 07-27 09:04:30.298 10.61.74.202:54231 13206#01:54231错误:发送批量UDP字节时出现IO错误:java.net.NoRouteToHostException:没有到主机的路由 07-27 09:04:30.298 10.61.74.202:54231 13206#03:54231错误:发送批量UDP字节时出现IO错误:java.net.NoRouteToHostException:没有到主机的路由

1 个答案:

答案 0 :(得分:2)

您需要让所有主机都运行并共享相同的flatfile

例如

  1. 您有3个主机,并为它们创建flatfile.txt 10.0.0.6 10.0.0.7 10.0.0.8

  2. 您需要在群集周围分发flatfile.txt(不是免费提供)

  3. 在每个主机10.0.0.{6,7,8}上,您需要运行: java -jar h2o.jar -ip <HOST_IP> -flatfile flatfile.txt

  4. 一般来说,这是手动过程,更好的方法是使用Hadoop / Yarn或Spark(和Sparkling Water)。