如何从本地机器向远程Kubernetes集群提交Dask作业

Question

我在GCP上使用Kubernetes引擎设置了一个Kubernetes集群。我还使用Helm软件包管理器安装了Dask。我的数据存储在GCP上的Google存储桶中。

在本地计算机上运行kubectl get services会产生以下输出

我可以使用外部IP打开仪表板和jupyter笔记本，而不会出现任何问题。但是，我想开发一个工作流，在其中我可以在本地计算机中编写代码并将脚本提交到远程集群并在其中运行。

我该怎么做？

我尝试使用dask-remote按照Submitting Applications中的说明进行操作。我还尝试使用类型为LoadBalancer的kubectl expose deployment公开调度程序，尽管我不知道我是否正确执行了该调度程序。建议非常感谢。

Answer 1

是的，如果您的客户端和工作人员共享相同的软件环境，那么您应该能够使用公开可见的IP将客户端连接到远程调度程序。

from dask.distributed import Client
client = Client('REDACTED_EXTERNAL_SCHEDULER_IP')