标签: python pandas numpy dask
我有列数据,当前使用numpy.loadtxt(filename,usecols=[0,1,2,3],dtype=float)进行读取。文件大小不太大时,这种方法可以正常工作。目前,数据文件约为50GB,而numpy.loadtxt()花费的时间太长。 有没有更有效的方法来使用dask读取此数据,然后将其转换为numpy数组?
numpy.loadtxt(filename,usecols=[0,1,2,3],dtype=float)
numpy.loadtxt()
dask
PS:我以前没用过。