使用dask读取列数据

时间:2020-04-29 09:06:19

标签: python pandas numpy dask

我有列数据,当前使用numpy.loadtxt(filename,usecols=[0,1,2,3],dtype=float)进行读取。文件大小不太大时,这种方法可以正常工作。目前,数据文件约为50GB,而numpy.loadtxt()花费的时间太长。
有没有更有效的方法来使用dask读取此数据,然后将其转换为numpy数组?

PS:我以前没用过。

0 个答案:

没有答案