如何模拟生产集群以测试单机中的hadoop作业

Question

我想在开发工作站上运行hadoop作业进行测试，然后再投入生产。 hadoop中的哪种模式操作允许在使用单个机器时最接近地模拟生产集群。

Answer 1

我在我的vmware映像上使用伪分布式模式在部署之前进行测试。

Answer 2

Cloudera的伪分布式CDH4在一台机器上运行。多个工人的模拟是通过命令行完成的，非常简单！文档---如果准确地遵循---是您需要阅读的所有内容，以便让您的群集运行。

我没有进行任何性能测试来将其与Chris Gerken的建议进行比较：VMware模拟，但我不会惊讶地发现它运行效率更高。无论如何，因为你只是想在Linux机器上进行测试，我猜也是如此。