R与RNetCDF的结果不一致 - 为什么?

时间:2011-06-20 14:56:58

标签: r netcdf

我无法使用RNetCDF从NetCDF数据文件中提取数据。每个数据文件都有3个维度(经度,纬度和日期)和3个变量(纬度,经度和气候变量)。有四个数据集,每个数据集都有不同的气候变量。

为清楚起见,这是print.nc(p8m.tmax)的一些输出。除特定气候变量外,其他数据集完全相同。

dimensions:
  month = UNLIMITED ; // (1368 currently)
  lat = 3105 ;
  lon = 7025 ;
variables:
  float lat(lat) ;
          lat:long_name = "latitude" ;
          lat:standard_name = "latitude" ;
          lat:units = "degrees_north" ;
  float lon(lon) ;
          lon:long_name = "longitude" ;
          lon:standard_name = "longitude" ;
          lon:units = "degrees_east" ;
  short tmax(lon, lat, month) ;
          tmax:missing_value = -9999 ;
          tmax:_FillValue = -9999 ;
          tmax:units = "degree_celsius" ;
          tmax:scale_factor = 0.01 ;
          tmax:valid_min = -5000 ;
          tmax:valid_max = 6000 ;

当我使用RNetCDF软件包中的var.get.nc函数时,我得到了一些我不明白的行为。

例如,当我尝试从最高温度数据(p8m.tmax< - open.nc(tmaxdataset.nc))中提取从stval开始的82个值

 > var.get.nc(p8m.tmax,'tmax', start=c(lon_val, lat_val, stval),count=c(1,1,82))

(其中lon_val和lat_val指定我感兴趣的坐标数据集中的位置,stval是stval设置为(time_vec == 200201),在这种情况下等于1285.)我得到     错误:参数无效

但成功提取80和81值后

> var.get.nc(p8m.tmax,'tmax', start=c(lon_val, lat_val, stval),count=c(1,1,80))
> var.get.nc(p8m.tmax,'tmax', start=c(lon_val, lat_val, stval),count=c(1,1,81))

82的命令有效:

> var.get.nc(p8m.tmax,'tmax', start=c(lon_val, lat_val, stval),count=c(1,1,82))

[1]  444  866 1063 ... [output snipped]

在结构相同的tmin文件中出现同样的问题,但是在36而不是82:

> var.get.nc(p8m.tmin,'tmin', start=c(lon_val, lat_val, stval),count=c(1,1,36))

产生错误:参数无效

但是在重复了30,31等等之后

> var.get.nc(p8m.tmin,'tmin', start=c(lon_val, lat_val, stval), count=c(1,1,36)) 

作品。

这些示例使得看起来函数在最后一次计数时失败了,但实际情况并非如此。在第一个例子中,var.get.nc在我要求84个值后给出了Error:Invalid argument。然后,我通过改变数据集中的起点并一次只询问1个值,将故障缩小到第82个计数。问题发生的具体数字也各不相同。我可以关闭并重新打开数据集,并将问题发生在不同的位置。

在上面的特定示例中,lon_val和lat_val分别为1595和1751,用于识别数据集中沿着我感兴趣的纬度和经度的纬度和经度维度的位置。第1595纬度和1751经度然而,这不是问题。我尝试过的所有其他纬度和经度都会出现问题。

沿着气候变量维度(stval)改变数据集中的起始位置和/或指定它不同(作为命令中的数字而不是对象stval)也不能解决问题。

这个问题并不总是发生。我可以连续三次运行相同的代码(清除运行之间的所有对象),每次都得到不同的结果。第一次运行可能会在我试图获得的第7个条目上窒息,第二个可能正常工作,第三个运行可能会阻塞第83个条目。我对这种不一致的行为感到非常困惑。

open.nc函数也开始失败并出现相同的错误:参数无效。与var.get.nc问题一样,它也会出现不一致的情况。

有谁知道导致最初提取变量失败的原因是什么?我怎么可能阻止它?可能与数据文件的大小(每个约60GB)和/或我通过网络驱动器访问它们的事实有关吗?

这里也有人问: https://stat.ethz.ch/pipermail/r-help/2011-June/281233.html

> sessionInfo()
R version 2.13.0 (2011-04-13)
Platform: i386-pc-mingw32/i386 (32-bit)

locale:
[1] LC_COLLATE=English_United States.1252  LC_CTYPE=English_United States.1252   
[3] LC_MONETARY=English_United States.1252 LC_NUMERIC=C                          
[5] LC_TIME=English_United States.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
[1] reshape_0.8.4   plyr_1.5.2      RNetCDF_1.5.2-2

loaded via a namespace (and not attached):
[1] tools_2.13.0

1 个答案:

答案 0 :(得分:0)

为了解决这个问题,我从RNetCDF软件包(版本1.5.2-2)切换到ncdf软件包(1.6.5)。两个包中的函数名称相似,具有相同的目的[open.nc vs. open.ncdf,var.get.nc vs. get.var.ncdf]。使用完全相同的代码和RNetCDF函数名称替换为ncdf函数,我没有错误和预期的结果。

因此,虽然以下RNetCDF命令失败(仅有时&无明显原因)

>p8m.tmax <- open.nc('tmax.nc')
>var.get.nc(p8m.tmax,'tmax', start=c(lon_val, lat_val, stval),count=c(1,1,82))

这些ncdf命令永远不会失败

>p8m.tmax <- open.ncdf('tmax.nc')
>get.var.ncdf(p8m.tmax,'tmax', start=c(lon_val, lat_val, stval),count=c(1,1,82))

这不是一个真正的解决方案 - 我仍然不知道为什么RNetCDF包中的函数有时会起作用,有时却不起作用。但是,它确实允许我提取我需要的数据,并希望对使用R中的netcdf数据的其他人有所帮助。