带有外部指针(XPtr)的并行函数

时间:2019-02-05 13:52:12

标签: r rcpp rparallel

此问题既不是this one的副本,也不是 this one,关于函数返回外部指针。

这是问题。此后的Rcpp代码定义了两个函数,一个创建XPtr,另一个可以在XPtr上运行。

#include <Rcpp.h>
using namespace Rcpp;

//[[Rcpp::export]]
SEXP f(int n) {
  std::vector<int> * v = new std::vector<int>;

  for(int i = 0; i < n; i++)
    v->push_back(i);

  XPtr< std::vector<int> > p(v, true);
  return p;
}

//[[Rcpp::export]]
int g(XPtr< std::vector<int> > p, int i) {
  return (*p)[i];

工作正常:

> x <- f(100)
> g(x, 45)
[1] 45

让我们尝试并行化对g的调用。这有效:

require(parallel)
test1 <- function(a) {
  cl <- makeForkCluster(nnodes=2)
  r <- parLapply(cl, 1:5, function(i) g(a,i) )
  stopCluster(cl)
  return(r)
}

预期行为:

> unlist( test1(x) )
[1] 1 2 3 4 5

但这不起作用:

test2 <- function(a) {
  cl <- makeForkCluster(nnodes=2)

  p <- g(a, 0)
  r <- parLapply(cl, 1:5, function(i) g(a,i) )
  stopCluster(cl)
  return(r)
}

意外行为:

> test2(x)
Error in checkForRemoteErrors(val) : 
  2 nodes produced errors; first error: external pointer is not valid

问题似乎是由于在调用集群中的从属之前在函数中使用了一次外部指针这一事实引起的。是什么解释了此行为,并且有解决方法?预先非常感谢。

1 个答案:

答案 0 :(得分:4)

在函数开始时,a是一个承诺,即表示在特定环境中评估特定表达式的内容。当您访问变量时,将对表达式进行求值,因此a现在是一个指针,并且该指针特定于特定的R实例。您可以使用pryr::promise_info来查看:

test2 <- function(a) {
  cl <- makeForkCluster(nnodes = 2)
  print(pryr::promise_info(a))
  p <- g(a, 0)
  print(pryr::promise_info(a))
  stopCluster(cl)
  return(r)
}

输出:

$code
x

$env
<environment: R_GlobalEnv>

$evaled
[1] FALSE

$value
NULL

$code
x

$env
NULL

$evaled
[1] TRUE

$value
<pointer: 0x565295e3a410>

一种解决方法是使用eval(substitute(a))

test2 <- function(a) {
  cl <- makeForkCluster(nnodes = 2)
  print(pryr::promise_info(a))
  p <- g(eval(substitute(a)), 0)
  print(pryr::promise_info(a))
  r <- parLapply(cl, 1:5, function(i) g(a,i) )
  stopCluster(cl)
  return(r)
}

我确信有更好的方法。非标准评估对我来说还是有点陌生​​...