Question

我有兴趣从vegan软件包中并行执行R函数adonis。但是，我不清楚如何使其并行运行。无论我如何尝试初始化它，似乎都需要花费相同的时间来执行。有人可以解释我做错了吗？

require(vegan)
require(parallel)
data(dune)
data(dune.env)
#This:
system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999))
#Runs faster (4.49 s) than this (6.7 s):
system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999, parallel=3))
#or this (6.7 s)
cl <- makeCluster(3)
system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999, parallel=cl))
stopCluster(cl)

计算机详细信息：

R V4.0
赢得10x64
i5-8350 4核

Answer 1

我不确定这个答案到底有多大帮助，但我会分享一些我自己的观察和我慢慢拼凑起来的东西。我不会假装自己是这方面的专家，所以接受我的回答，意识到这里可能存在一些不准确之处。我首先是一名生物学家。

其中一些并行库似乎会重新加载 r 环境并运行您每个内核拥有的任何启动文件（例如 rprofiles）。因此，使用并行库存在固有的时间成本，因此如果计算量足够大，值得并行化（在您的示例中，Dune 数据集非常小），那么您只会看到并行函数的好处。我将在下面分享我自己的基准）。也就是说，有一些事情似乎有帮助。

使用 doParallel 库，您可以指定参数以不将不必要的信息加载到会话中，如下所示：

library(doParallel)
cl <- makeCluster(3, rscript_args = c("--no-init-file", "--no-site-file","--no-environ"))
#for linux   .... cl <- makePSOCKcluster(2)
registerDoParallel(cl)
unif_w = UniFrac(d, weighted=T, parallel=T, normalized = T)
unif_uw = UniFrac(d, weighted=F, parallel=T)
stopCluster(cl)

我在自己的工作中注意到添加 rscript 选项大大提高了我的速度（抱歉，没有基准测试，希望能快速得到答案）。如果我记得我得到这个建议的来源，我会回来分享。

这对运行 Adonis 没有帮助，但是我认为初始时间成本可以解释为什么我们在 Dune 数据集上使用 Adonis 内置的并行选项看不到时间优势。这是我的基准。

> data("dune")
> data("dune.env")
> system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999))
   user  system elapsed 
   3.90    0.00    3.93 
> #Runs faster (4.49 s) than this (6.7 s):
> system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999, parallel=3))
   user  system elapsed 
   0.71    0.04    6.53

这组没有太大区别，但并行更慢。然而，用我目前正在使用的一个大集合重复（bc 是一个距离矩阵是根据物种矩阵计算的，该矩阵有 887 个物种乘以 3734 个站点）

> system.time(adonis(bc ~ fmet$Diagnosis, parallel = 1))
   user  system elapsed 
 109.95   21.27  131.22 
> system.time(adonis(bc ~ fmet$Diagnosis, parallel = 4))
   user  system elapsed 
   3.44    1.41   82.36

长话短说，在这种特定情况下，您可能只会通过将 adonis 选项应用于更大的数据集而受益。

我不确定计算机规格在这里有多重要，但我确实有大量内存用于此类用途。就我而言，内存对于让我更轻松地处理大型矩阵更为重要。

R 版本：4.0.2
Windows 10，64 位
AMD 锐龙 3600
64GB DRAM

无论如何，我仍在寻找其他变通方法和技巧。

在纯素食函数中使用并行处理？

1 个答案: