在Hadoop集群上安装R

Question

我在现有的Hadoop集群上设置R。到目前为止，我已经在集群的一个节点（EDGE节点）上安装了R rpms和相关的库包，它按预期工作。 R rpms是安装在集群的所有服务器部分还是仅安装在库目录中 （在我的情况下 / usr / lib64 / R / library ）在所有服务器上同步？

Answer 1

对于rmr，你需要在任何地方安装，对于rhdfs，你不需要和rhive我不知道。安装意味着R rpms或等效和必要的依赖。至于同步lib dirs，我尝试了类似的东西来简化rmr2的部署，但我们（客户端和我，在协议中）拔掉了插件，因为它似乎是一个非常脆弱的策略（取决于所有库完全相同） 。它在一个非常受控制的环境中工作，但我们整合了整个事物，而不仅仅是图书馆。