从Hive向本地服务器加载2T数据

时间:2018-03-01 15:47:28

标签: hadoop hive hdfs

我通过Hive数据库在My hadoop集群中拥有2TB数据,我将这些数据放在我的本地服务器中,所以我使用Hive通过使用beeline CLI执行此任务,如下所示:

use db1;

for i in (T1 T2 T3 ...)do

export table $1 to '/tmp/$i';

done

(注意:也许您在上面的查询中发现了同样的错误,它不是我正在寻找的,这个语法与我使用过的相同,但它&#&# 39;足够接近它对我有用,所以不要关心这个问题。)

这个查询执行此任务的速度非常慢,所以我真正想要的是知道是否有其他解决方案,比如使用Scoop或(hadoop fs -get / user / hive / warehouse / database。 db)甚至是hive尽可能快地完成这项任务。

0 个答案:

没有答案