使用dask沿轴对数据集进行排序

时间:2020-10-24 21:37:47

标签: sorting dask python-xarray dask-delayed

我想按时间维度对每年的数据集(netcdf文件)进行排序,然后取平均值。问题在于,dask仅支持“ topk”排序,如果包括整个范围的值,则会消耗所有内存。 Xarray仅支持对一维数组进行排序。 numpy排序可以完成这项工作,但同时也会消耗内存。有什么办法可以利用dask在整个轴上对整个大型数据集进行排序以减少内存占用吗?

0 个答案:

没有答案
相关问题