我有一个带有嵌入式逗号的CSV文件,我想将其放入Hive目录中,以便我的Hive表将立即看到数据。我不希望对数据进行预处理,并且数据具有一些连续的双引号。例如:
"hi,there",999,""BROWN,FOX"","goodbye"
我知道我需要使用CSV SerDe创建表,并且有:
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
"separatorChar" = ",",
"quoteChar" = "\"",
"escapeChar" = "\\"
)
STORED AS TEXTFILE
但是当我为该样本数据选择数据时,我得到了:
hive> select * from my_table;
hi,there 999 "BROWN FOX" goodbye
而不是我想要的:
hive> select * from my_table;
hi,there 999 "BROWN,FOX" goodbye
甚至:
hive> select * from my_table;
hi,there 999 BROWN,FOX goodbye
如何让Hive将双引号视为一个双引号,或者以其他方式读取此数据?我可以在不预处理数据的情况下执行此操作吗?预先谢谢你。