Hive内部表使块大小大于配置

时间:2017-09-05 12:22:36

标签: hadoop hive hdfs

dfs.blocksize的配置为128M,如果我上传任何文件或创建任何文件,则需要大小为128M的块,这很酷。但是当我创建hive表时,无论多小,都可以使用256M的块大小。Screenshot of my table in HDFS 我们可以在创建表时设置表的大小吗?我不知道它是如何完成的

更新 我正在使用spark sql。

spark = SparkSession .builder()
                .appName("Java Spark SQL basic example")
                .enableHiveSupport()
                .config("spark.sql.warehouse.dir", "hdfs://bigdata-
                 namenode:9000/user/hive/warehouse")
                .config("mapred.input.dir.recursive", true)
                .config("hive.mapred.supports.subdirectories", true)
                .config("spark.sql.hive.thriftServer.singleSession", true)
                .config("hive.exec.dynamic.partition.mode", "nonstrict")
                //.master("local")
                .getOrCreate();
String query1 = String.format("INSERT INTO TABLE bm_top."+orc_table+" SELECT  icode, store_code,division,from_unixtime(unix_timestamp(bill_date,'dd-MMM-yy'),'yyyy-MM-dd'), qty, bill_no, mrp FROM bm_top.temp_ext_table");
 spark.sql(query1);

0 个答案:

没有答案