使用cygwin进行Hadoop集群设置

时间:2014-07-30 13:02:54

标签: hadoop

我将在我的项目中设置一个hadoop集群(3nodes)。我怀疑是我们可以继续使用cygwin还是应该在我的机器上安装linux操作系统来设置集群? 换句话说,使用cygwin设置集群会导致单节点的pseduo分布式模式,或者它就像一个普通的分布式集群?

请帮助我理解

感谢。

1 个答案:

答案 0 :(得分:0)

我尝试用cygwin在pseduo模式下设置Hadoop集群(CDH5.0.2发行版),这真是太糟糕了。我遇到类路径问题,cygwin无法从hadoop文件解析一些路径,所以我不得不重写一些hadoop代码。因此我不建议将hadoop与cygwin一起使用。

如果您只是使用cygwin安装hadoop,那么它处于伪分布式模式(请参阅。this),但当然您可以在分布式模式下安装hadoop,但是您需要的节点数多于1。这里Running Hadoop on Windows