无法使用Flink 1.5群集

时间:2018-06-11 21:23:30

标签: scala kubernetes akka apache-flink jobs

尝试从Flink 1.3.2迁移到1.5我们已经使用kubernetes部署了集群。 1.3.2一切正常但我不能用1.5提交工作。当我试图这样做时,我只是看到spinner无限旋转,同样通过REST api。我甚至无法提交wordcount示例工作。 似乎我的任务管理员无法连接到jobmanager,我可以在flink UI中看到它们,但在日志中我看到

  

level = WARN akka.remote.transport.netty.NettyTransport - 与[null]的远程连接失败   org.apache.flink.shaded.akka.org.jboss.netty.channel.ConnectTimeoutException:   连接超时:   弗林克-jobmanager-nonprod-2.rpds.svc.cluster.local / 25.0.84.226:6123

     

level = WARN akka.remote.ReliableDeliverySupervisor - 与远程系统关联   [akka.tcp://flink@flink-jobmanager-nonprod-2.rpds.svc.cluster.local:6123]   失败了,地址现在被门控[50] ms。原因:[协会   失败了   [akka.tcp://flink@flink-jobmanager-nonprod-2.rpds.svc.cluster.local:6123]   引起:[远程对出站关联没有响应。   关联在[20000 ms]之后超时。]

     

level = WARN akka.remote.transport.netty.NettyTransport - 远程   与[null]的连接失败   org.apache.flink.shaded.akka.org.jboss.netty.channel.ConnectTimeoutException:   连接超时:   弗林克-jobmanager-nonprod-2.rpds.svc.cluster.local / 25.0.84.226:6123

但我可以从taskmanager telnet到jobmanager

如果我在集群模式下开始flink(jobmanager + taskmanager),那么一切都在我的本地工作。 在1.5文档中,我找到了模式选项,它在flip6和legacy之间翻转模式(默认flip6),但是如果我设置模式:遗产我根本没有看到我的任务管理员注册。

这是关于k8s部署和1.5我需要做的具体事情吗?我检查了1.5 k8s配置,它看起来和我们一样,但是我们使用定制的docker镜像进行flink(安全,HA,检查点)

谢谢。

1 个答案:

答案 0 :(得分:1)

作业管理连接性问题。 Jobmanager泊坞窗映像无法连接到“ flink-jobmanager”($ {JOB_MANAGER_RPC_ADDRESS})地址。

只需使用afilichkin / flink-k8s Docker代替flink:latest

我已通过将新主机添加到jobmanager泊坞窗来修复它。您可以在我的github项目中看到它

https://github.com/Aleksandr-Filichkin/flink-k8s/tree/master

相关问题