PrestoDB:工作节点不断断开连接(没有可用的工作节点)

时间:2018-09-22 05:08:06

标签: presto

我正在尝试在具有4GB RAM和80GB HDD的Ubuntu 18.04计算机上的3个节点(1个协调器+ 2个工作程序节点)上设置测试PrestoDB集群。

协调器属性如下:

  • node.properties

    node.environment=test
    node.id=2259f48c-bd6a-11e8-bbdd-1a4f1f5bd394
    node.data-dir=/opt/prestodata
    
  • jvm.properties

    -server
    -Xmx16G
    -XX:+UseG1GC
    -XX:+CMSClassUnloadingEnabled
    -XX:+AggressiveOpts
    -XX:+ExplicitGCInvokesConcurrent
    -XX:+HeapDumpOnOutOfMemoryError
    -XX:ReservedCodeCacheSize=150M
    
  • config.properties

    coordinator=true
    node-scheduler.include-coordinator=false
    http-server.http.port=8080
    query.max-memory=10GB
    query.max-memory-per-node=2GB
    discovery-server.enabled=true
    discovery.uri=http://localhost:8080
    

worker-1 属性如下:

  • node.properties

    node.environment=test
    node.id=ca628078-bd69-11e8-807a-5e29ddb1dccc
    node.data-dir=/opt/prestodata
    
  • jvm.config

    -server
    -Xmx2G
    -XX:+UseG1GC
    -XX:+CMSClassUnloadingEnabled
    -XX:+AggressiveOpts
    -XX:+ExplicitGCInvokesConcurrent
    -XX:+HeapDumpOnOutOfMemoryError
    -XX:ReservedCodeCacheSize=150M
    
  • config.properties

    coordinator=false
    http-server.http.port=8080
    query.max-memory=10GB
    query.max-memory-per-node=2GB
    discovery.uri=http://<coordinator_ip>:8080
    

第二个工作器属性相似(也具有唯一且有效的UUID)。在这两个工人上,我(有时)会看到以下日志:

Discovery server connect succeeded for refresh (collector/general)
Discovery server connect succeeded for refresh (presto/general)

在协调器节点上,我看到工作节点出现在活动工作节点中大约1-2秒,然后又消失了,每次我重新启动工作节点时,此循环重复4-5次。

端口已正确列入白名单,可以通过ping相互访问worker和coordinator。这是嵌入式发现服务器的问题,还是内存不足(4GB),我在做什么错了?

更新 我也尝试了以下方法:

  • 添加单独的发现服务器而不是嵌入式服务器
  • 最新版本(0.211)代替了0.198
  • 逆转协调员和工人的责任
  • 两个版本的全新安装

以上方法均无效。

0 个答案:

没有答案