Question

我有一个R代码，涉及几个foreach工作者并行执行某些任务。我为此目的使用foreach和doMC。我想让每个foreach工作人员招募一些新的工作人员，并将可以并行化的部分代码分发给他们。

目前的代码如下：

require(doMC)
require(foreach)
registerDoMC(cores = 8)

foreach (i = (1:8)) %dopar% {
<<some code here>>
    for (j in c(1:4))  {
    <<some other code here>>
    }
}

我正在寻找一个看似如下的理想代码：

require(doMC)
require(foreach)
registerDoMC(cores = 8)

foreach (i = (1:8)) %dopar% {
<<some code here>>
    foreach (j = (1:4)) %dopar% {
    <<some other code here>>
    }
}

我看到了一个使用doSNOW和doMC here (https://www.rmetrics.org/files/Meielisalp2009/Presentations/Lewis.pdf#page=17)的多范式并行性的例子。但是，我不知道它是否符合我的要求。

此外，似乎Nested foreach不适用，因为它需要合并两个循环(see here)，而在我的情况下，这不是首选;第二个循环只能帮助第一个循环代码的一部分。如果我错了，请纠正我。

感谢。

Answer 1

在foreach循环中有一个foreach循环没有特别的问题。以下是doSNOW循环中doMC循环的示例：

library(doSNOW)
hosts <- c('host-1', 'host-2')
cl <- makeSOCKcluster(hosts)
registerDoSNOW(cl)
r <- foreach(i=1:4, .packages='doMC') %dopar% {
  registerDoMC(2)
  foreach(j=1:8, .combine='c') %dopar% {
    i * j
  }
}
stopCluster(cl)

对我来说，使用doMC作为内循环似乎很自然，但无论如何你都可以这样做。您也可以将doSNOW用于两个循环，但是您需要在外部foreach循环内创建和停止雪群。

以下是在doMC循环中使用doMC的示例：

library(doMC)
registerDoMC(2)
r <- foreach(i=1:2, .packages='doMC') %dopar% {
  ppid <- Sys.getpid()
  registerDoMC(2)
  foreach(j=1:2) %dopar% {
    c(ppid, Sys.getpid())
  }
}

结果表明doMC包总共分叉了六个进程，尽管只有四个进程执行内部循环的主体：

> r
[[1]]
[[1]][[1]]
[1] 14946 14949

[[1]][[2]]
[1] 14946 14951


[[2]]
[[2]][[1]]
[1] 14947 14948

[[2]][[2]]
[1] 14947 14950

当然，您需要注意不要在单个节点上启动太多进程。我发现这种嵌套有点尴尬，这导致了嵌套操作符的开发。

允许foreach工作人员向其他工作人员注册和分发子任务

1 个答案: