配置单元 - 如何将镶木地板/ ORC设置为默认输出格式

时间:2017-05-18 03:34:53

标签: hive parquet orc

hive使用Text作为默认格式,额外的"存储为镶木地板/ ORC"如果需要镶木地板或ORC文件格式,则必须添加条款 如何将镶木地板/ ORC设置为默认输出格式?

2 个答案:

答案 0 :(得分:1)

  

hive.default.fileformat

     

默认值:TextFile
  添加In:Hive 0.2.0

     

CREATE TABLE语句的默认文件格式。选项是TextFile,   SequenceFile,RCfile,ORC和Parquet。用户可以明确说出来   创建表...存储为   TEXTFILE | SEQUENCEFILE | RCFILE | ORC | AVRO | INPUTFORMAT ... OUTPUTFORMAT ... to   覆盖。 (RCFILE在Hive 0.6.0中添加,ORC在0.11.0中添加,AVRO in   0.14.0和2.3.0中的Parquet)有关详细信息,请参阅行格式,存储格式和SerDe。

  

hive.default.fileformat.managed

     

默认值:无
  添加In:Hive

     

1.2.0 with HIVE-9915 CREATE TABLE语句的默认文件格式仅适用于托管表。将使用创建外部表   hive.default.fileformat指定的格式。选项没有,   TextFile,SequenceFile,RCfile,ORC和Parquet(从Hive 2.3.0开始)。   保留此null将导致为所有人使用hive.default.fileformat   本地表。对于非本机表,文件格式由以下内容确定   存储处理程序,如下所示(请参阅StorageHandlers部分   有关托管/外部和本机/非本机的更多信息   术语)。

+----------+---------------------------------------------------------------------------+-------------------------------------+
|          |                                  Native                                   |             Non-Native              |
+----------+---------------------------------------------------------------------------+-------------------------------------+
| Managed  | hive.default.fileformat.managed (or fall back to hive.default.fileformat) | Not covered by default file-formats |
| External | hive.default.fileformat                                                   | Not covered by default file-formats |
+----------+---------------------------------------------------------------------------+-------------------------------------+

https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-FileFormats

答案 1 :(得分:1)

对于外部表,执行以下命令:

set hive.default.fileformat=Parquet

对于托管表,请执行以下操作:

set hive.default.fileformat.managed=Parquet

仅针对当前会话设置此项。如果要为整个配置单元配置设置这些属性,请在 hive-site.xml 中设置这些属性,然后重新启动配置单元服务。