我试图将MODIS 17数据文件读入R,操纵它们(裁剪等),然后将它们保存为geoTIFF' s。数据文件格式为.hdf
,并且似乎不是将它们读入R的简单方法。
与其他主题相比,目前还没有很多建议,而且大部分都是几年之久。其中一些还建议使用其他程序,但我想坚持使用R。
人们使用什么软件包处理R中的.hdf
个文件?
答案 0 :(得分:14)
好的,所以我的MODIS hdf文件是hdf4而不是hdf5格式。很难发现这一点,MODIS没有在他们的网站上提到它,但在各种博客和堆栈交换帖中有一些提示。最后,我必须下载HDFView才能确定。
R不执行hdf4文件,几乎所有软件包(如rgdal
)仅支持hdf5文件。有一些关于下载驱动程序和从源代码编译rgdal的帖子,但它们看起来相当复杂,帖子是针对MAC或Unix而且我使用的是Windows。
基本上来自gdal_translate
包的gdalUtils
是任何想要在R中使用hdf4文件的人的保存优雅。它将hdf4文件转换为geoTIFF而不将其读入R.这意味着你可以'完全操纵它们,例如通过裁剪它们,所以值得获得最小的瓷砖(通过类似Reverb的MODIS数据)以最大限度地缩短计算时间。
以下是代码示例:
library(gdalUtils)
# Provides detailed data on hdf4 files but takes ages
gdalinfo("MOD17A3H.A2000001.h21v09.006.2015141183401.hdf")
# Tells me what subdatasets are within my hdf4 MODIS files and makes them into a list
sds <- get_subdatasets("MOD17A3H.A2000001.h21v09.006.2015141183401.hdf")
sds
[1] "HDF4_EOS:EOS_GRID:MOD17A3H.A2000001.h21v09.006.2015141183401.hdf:MOD_Grid_MOD17A3H:Npp_500m"
[2] "HDF4_EOS:EOS_GRID:MOD17A3H.A2000001.h21v09.006.2015141183401.hdf:MOD_Grid_MOD17A3H:Npp_QC_500m"
# I'm only interested in the first subdataset and I can use gdal_translate to convert it to a .tif
gdal_translate(sds[1], dst_dataset = "NPP2000.tif")
# Load and plot the new .tif
rast <- raster("NPP2000.tif")
plot(rast)
# If you have lots of files then you can make a loop to do all this for you
files <- dir(pattern = ".hdf")
files
[1] "MOD17A3H.A2000001.h21v09.006.2015141183401.hdf" "MOD17A3H.A2001001.h21v09.006.2015148124025.hdf"
[3] "MOD17A3H.A2002001.h21v09.006.2015153182349.hdf" "MOD17A3H.A2003001.h21v09.006.2015166203852.hdf"
[5] "MOD17A3H.A2004001.h21v09.006.2015099031743.hdf" "MOD17A3H.A2005001.h21v09.006.2015113012334.hdf"
[7] "MOD17A3H.A2006001.h21v09.006.2015125163852.hdf" "MOD17A3H.A2007001.h21v09.006.2015169164508.hdf"
[9] "MOD17A3H.A2008001.h21v09.006.2015186104744.hdf" "MOD17A3H.A2009001.h21v09.006.2015198113503.hdf"
[11] "MOD17A3H.A2010001.h21v09.006.2015216071137.hdf" "MOD17A3H.A2011001.h21v09.006.2015230092603.hdf"
[13] "MOD17A3H.A2012001.h21v09.006.2015254070417.hdf" "MOD17A3H.A2013001.h21v09.006.2015272075433.hdf"
[15] "MOD17A3H.A2014001.h21v09.006.2015295062210.hdf"
filename <- substr(files,11,14)
filename <- paste0("NPP", filename, ".tif")
filename
[1] "NPP2000.tif" "NPP2001.tif" "NPP2002.tif" "NPP2003.tif" "NPP2004.tif" "NPP2005.tif" "NPP2006.tif" "NPP2007.tif" "NPP2008.tif"
[10] "NPP2009.tif" "NPP2010.tif" "NPP2011.tif" "NPP2012.tif" "NPP2013.tif" "NPP2014.tif"
i <- 1
for (i in 1:15){
sds <- get_subdatasets(files[i])
gdal_translate(sds[1], dst_dataset = filename[i])
}
现在,您可以使用例如栅格包中的raster
将您的.tif文件读入R并正常工作。我已经使用QGIS手动转换的几个文件检查了结果文件,它们匹配,所以我相信代码正在做我认为的事情。感谢LoïcDutrieux和this的帮助!
答案 1 :(得分:1)
此脚本非常有用,我设法使用它转换一批36个文件。但是,我的问题是转换似乎不正确。当我使用ArcGIS的“制作NetCDF栅格图层工具”时,我会得到不同的结果+我可以使用简单的公式将数字转换为开尔文的C:RasterValue * 0.02 - 273.15。使用R转换的结果,我在转换后得不到正确的结果,这使我相信ArcGIS转换是好的,并且R转换返回错误。
library(gdalUtils)
library(raster)
setwd("D:/Data/Climate/MODIS")
# Get a list of sds names
sds <- get_subdatasets('MOD11C3.A2009001.006.2016006051904.hdf')
# Isolate the name of the first sds
name <- sds[1]
filename <- 'Rasterinr.tif'
gdal_translate(sds[1], dst_dataset = filename)
# Load the Geotiff created into R
r <- raster(filename)
# Identify files to read:
rlist=list.files(getwd(), pattern="hdf$", full.names=FALSE)
# Substract last 5 digits from MODIS filename for use in a new .img filename
substrRight <- function(x, n){
substr(x, nchar(x)-n+1, nchar(x))
}
filenames0 <- substrRight(rlist,9)
# Suffixes for MODIS files for identyfication:
filenamessuffix <- substr(filenames0,1,5)
listofnewnames <- c("2009.01.MODIS_","2009.02.MODIS_","2009.03.MODIS_","2009.04.MODIS_","2009.05.MODIS_",
"2009.06.MODIS_","2009.07.MODIS_","2009.08.MODIS_","2009.09.MODIS_","2009.10.MODIS_",
"2009.11.MODIS_","2009.12.MODIS_",
"2010.01.MODIS_","2010.02.MODIS_","2010.03.MODIS_","2010.04.MODIS_","2010.05.MODIS_",
"2010.06.MODIS_","2010.07.MODIS_","2010.08.MODIS_","2010.09.MODIS_","2010.10.MODIS_",
"2010.11.MODIS_","2010.12.MODIS_",
"2011.01.MODIS_","2011.02.MODIS_","2011.03.MODIS_","2011.04.MODIS_","2011.05.MODIS_",
"2011.06.MODIS_","2011.07.MODIS_","2011.08.MODIS_","2011.09.MODIS_","2011.10.MODIS_",
"2011.11.MODIS_","2011.12.MODIS_")
# Final new names for converted files:
newnames <- vector()
for (i in 1:length(listofnewnames)) {
newnames[i] <- paste0(listofnewnames[i],filenamessuffix[i],".img")
}
# Loop converting files to raster from NetCDF
for (i in 1:length(rlist)) {
sds <- get_subdatasets(rlist[i])
gdal_translate(sds[1], dst_dataset = newnames[i])
}
答案 2 :(得分:0)
以下对我有用。这是一个简短的程序,只接受输入文件夹名称。确保您知道所需的子数据。我对子数据1感兴趣。
library(raster)
library(gdalUtils)
inpath <- "E:/aster200102/ast_200102"
setwd(inpath)
filenames <- list.files(,pattern=".hdf$",full.names = FALSE)
for (filename in filenames)
{
sds <- get_subdatasets(filename)
gdal_translate(sds[1], dst_dataset=paste0(substr(filename, 1, nchar(filename)-4) ,".tif"))
}
答案 3 :(得分:0)
使用NASA提供的HEG工具包将您的hdf文件转换为geotiff,然后使用任何包(例如“raster”)来读取文件。我对旧的和新的hdf文件都这样做。
下面是链接:https://newsroom.gsfc.nasa.gov/sdptoolkit/HEG/HEGHome.html
查看此处支持的NASA产品:https://newsroom.gsfc.nasa.gov/sdptoolkit/HEG/HEGProductList.html
希望这有帮助。
答案 4 :(得分:0)
现在您可以将 terra
包与 HDF 文件一起使用
要么获取子数据集
library(terra)
s <- sds("file.hdf")
s
可以像这样提取为 SpatRasters
s[1]
或者像这样创建所有子数据集的 SpatRaster
r <- rast("file.hdf")