Question

我有一个RasterStack，有几千层。但是，有些层有很多NA，所以我想通过设置一个阈值来排除这些层。我使用for循环正确地完成了它，但这非常慢。我试图用calc来做，但我的功能失败了。以下是我的试用版，我将不胜感激，以便加快处理速度。

library(raster)
lst<-stack(r1,r2,r3,r4) # 
lst_new<-stack()
for (i in 1: nlayers(lst)){
   # total number of cells without NA
   no_NA<-length(lst[[i]][!is.na(lst[[i]])]) #
   if(no_NA >= 14652){ # 97% 
     l<-lst[[i]]
     lst_new<-stack(lst_new,l)
     }
   }
  #This code works OK but slow for big rasterstack. So I tried the
  # following using calc function    
  remove.badL<-function(x){
          no_NA<-length(x[is.na(x)])
          if(no_NA >= 14652){
          return(x)
          }
         }
  lst_new<-calc(lst,fun=remove.badL) 
# this is the error I got

（函数（classes，fdef，mtable）中的错误：无法为签名'“RasterBrick”找到函数'writeValues'的继承方法，“NULL”'

我将不胜感激任何建议。感谢

Answer 1

这是使用is.na，cellStats和条件RasterStack子集的一种方法。

首先，让我们创建一些示例数据：

library(raster)
s <- stack(replicate(10, raster(matrix(runif(1e6), 1e3))))
s[s > 0.95] <- NA # insert some NAs

我们可以返回每层NA个单元格的数量：

cellStats(is.na(s), sum)

有了这些知识，我们就可以在子集化操作中使用这些计数：

thr <- 14652
s2 <- s[[which(cellStats(is.na(s), sum) < thr)]]

小于thr（此处为14652）NA个单元格的图层将保留在新堆栈中s2，而具有更多NA s的图层将被丢弃

将所有这些应用于您的数据，您应该能够使用：

lst_new <- lst[[cellStats(is.na(lst), sum) < 14652]]

Answer 2

在处理大型数据集时，

cellStats可能并不总是最佳选择。例如，将@jbaums样本数据扩展到n = 100层，在我的机器上需要相当长的时间。

## sample data, n = 100
library(raster)

set.seed(10)
s <- stack(replicate(100, raster(matrix(runif(1e6), 1e3))))
s[s > 0.95] <- NA

## set na limit (e.g., 5% of all cells)
limit <- 0.05 * ncell(s)


### cellStats -----

system.time(
  id1 <- cellStats(is.na(s), sum) < limit
)
# user  system elapsed 
# 28.794   0.253  29.050

您可以例如创建索引向量，而不是使用cellStats，而是使用并行化foreach手动创建指示少量缺失数据的索引向量。

### parallel version -----

## open parallel backend
library(doParallel)
cl <- makeCluster(detectCores() - 1)
registerDoParallel(cl)

## loop over layers in parallel
system.time(
  id2 <- foreach(i = unstack(s), .packages = "raster", 
                 .combine = "c") %dopar% {
                   sum(is.na(i[])) < limit
                 }
)
# user  system elapsed 
# 0.337   0.005   3.802

正如您所看到的，后一种方法的执行速度要快得多，同时返回相同的结果。

## similarity check
identical(as.logical(id1), id2)
[1] TRUE

剩下要做的就是关闭并行后端

## deregister parallel backend
stopCluster(cl)

并根据派生的索引向量创建s的子集。

## data subset
s[[which(id2)]]

从rasterstack中删除包含许多NA的栅格图层

2 个答案: