Hbase批量加载已中止,但尚未加载某些文件

时间:2019-03-23 23:50:31

标签: mapreduce hbase hadoop2

我有一份工作,可以批量加载大约5000个hfile。我收到错误

ERROR [main] mapreduce.LoadIncrementalHFiles (LoadIncrementalHFiles.java:doBulkLoad(452)) -
"Bulk load aborted with some files not yet loaded"
hdfs://..../file1
hdfs://...file2

Exception in thresad "main" java.io.IOException: Retry attempted 20 times without completing, bailing out
at org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles.doBulkLoad(LoadIncrementalHFiles.java:416)
..

我已经将重试次数从10次增加到20次,这降低了失败的频率,但是没有完全补救。

对此有什么补救办法? hadoop能否自动确定每个hfile所需的拆分数量,而不是在尝试将新的hfile放入区域时顺序创建拆分?

0 个答案:

没有答案
相关问题