如何将数据从Cassandra加载到HDFS？

Question

我有一个驻留在Apache Cassandra中的数据，我想使用hadoop生态系统工具执行map / reduce作业。

如何将数据从Cassandra加载到HDFS？

除了Cassandra存储处理程序/ brisk之外是否有任何存储处理程序？

Answer 1

Netflix推出了一款名为Aegisthus的新工具，试图解决这个问题。

  

Cassandra的批量数据管道。 Aegisthus实现了一个读者   对于SSTable格式并提供map / reduce程序来创建   压缩列系列中包含的数据的快照。

• https://github.com/Netflix/aegisthus
• http://techblog.netflix.com/2012/02/aegisthus-bulk-data-pipeline-out-of.html

Answer 2

考虑一下这个项目pygmalion。这将允许您将数据从Cassandra导出到HDFS，然后使用Pig latin进行查询。

Answer 3

你可以通过多种方式做到这一点。编写MapReduce作业以从Cassandra读取数据并将其写入HDFS或编写PigLatin脚本来执行此操作。有关详细信息，请参阅 this 。