达斯克-Kubernetes-教程示例

时间:2019-02-13 09:07:37

标签: dataframe kubernetes google-cloud-platform dask dask-distributed

我刚刚使用Helm在Kubernetes集群上完成了Dask的设置,现在,我想在jupyter笔记本上做基础教程,遇到以下错误:

error-dask

我也尝试在另一个笔记本中分析40 GB的数据集,但是运行以下命令非常慢(我只是从GCS导入40GB,然后在二进制列上进行value_counts的操作):

import dask.dataframe as ddf
import gcsfs

fs = gcsfs.GCSFileSystem(project='tme-chrome')

fs.ls('tme-churning')

df = dd.read_csv('gs://tme-churning/*.csv')


df['churning'].value_counts().compute()

非常感谢您的帮助。我似乎在这里丢失了一些东西。

1 个答案:

答案 0 :(得分:0)

我尝试使用here发现但无法完成的模糊头盔图表来重现此问题。这些是我采取的步骤:

1. helm install -n stable-dask stable/dask
2. Go to output Jupyter IP:PORT
3. Run the first few cells in the notebook.

您使用其他头盔图吗?