用相似的映射在多张表上写reduce

时间:2018-06-27 05:15:13

标签: mapreduce hbase

在HBase上,我有一个表TABLE-A,该表的行键上带有时间戳。由于TABLE-A的数据量非常大,而且具有相同的时间戳,因此我想根据分钟,小时和天汇总表。我可以将MyMapper中的时间戳与列项一起提取,并将确定的时间戳与列项一起传递给MyReducer以执行操作并创建TABLE-A-Minute。现在要创建小时和日,我不想回到TABLE-A,而是在分钟汇总期间进行,因为它们是60,3600,86400秒。

我如何在HBase中做到这一点,因为TableMapReduceUtil需要MyMapper.ClassMyReducer.Class,并且即使我尝试了如何也无法区分哪个分辨率来自Mapper。创建多个Reducer类。我只能想到创建多个作业,但这仍然不会影响Mapper类。

0 个答案:

没有答案
相关问题