是否有任何并行方式访问Python中的Netcdf文件

时间:2015-07-15 03:16:03

标签: python io parallel-processing netcdf

有没有办法在Python中为Netcdf文件执行并行IO?

据我所知,有一个名为PyPNetCDF的项目,但显然它已经过时,没有更新,似乎根本不起作用。有没有人在Python中使用NetCDF并行成功?

非常感谢任何帮助

2 个答案:

答案 0 :(得分:2)

太糟糕了,PyPnetcdf并不是更成熟一点。我看到了硬编码路径和被遗弃的域名。看起来编写一些东西需要花费很多时间,但接下来的问题就是让它真正起作用......

    在setup.py中
  • ,您应该更改library_dirs_list和include_dirs_list,以指向系统中安装了Northwestern / Argonne Parallel-NetCDF的位置以及安装MPI分发的位置。

  • 然后必须通过并更新pypnetcdf调用pnetcdf的方式。几年前(实际上相当多)我们将很多类型推广到更大的版本。

答案 1 :(得分:1)

我从两个python NetCDF模块中找不到好的例子,请参阅https://github.com/Unidata/netcdf4-python/issues/345 但是,如果您只需要读取文件并且它们是NetCDF4格式,您应该可以直接使用HDF5 - http://docs.h5py.org/en/latest/mpi.html 因为NetCDF4基本上是具有受限数据模型的HDF5。可能不会使用NetCDF3。