使用Crunch将数据写入MongoDB

Question

我们将使用Apache Crunch来实施我们的新解决方案。我们想从HBase中提取数据，然后应用一些逻辑来过滤掉不合格的数据，最后以结构化的方式将数据写入MongoDB进行进一步处理。这可行吗？关于如何让Crunch与MongoDB一起工作的任何想法？

Answer 1

Mongo有一个Java驱动程序。因此，如果您需要执行任何mongo操作，可以调用驱动程序以获取Mongo连接并插入记录。有关如何使用Java连接到Mongo的详细信息，请参阅here。由于您正在编写Java代码，因此您应该能够使用此驱动程序来执行操作。我假设您使用的是Java。