如何使用Sqoop将多个MySQL表组合到一个Hive表中

时间:2018-07-13 11:52:52

标签: mysql hadoop hive sqoop

我在不同的MySQL实例中有两个MySQL表,它们的表结构相同。如何使用Sqoop将它们组合到一个蜂巢表中?在两个表中可能存在重复的记录,我也只想在这些重复项上保留一个记录。

Sqoop命令是这样的:

sqoop import --connect jdbc:mysql://10.17.1.110:3306/test --username hadoop_sync --password 'sync_password' --table t --hive-table history_test_t --hive-database snapshot --fields-terminated-by ',' --hive-overwrite --hive-import -m 1 --hive-partition-key dt --hive-partition-value 2018-07-13 --delete-target-dir --create-hive-table

0 个答案:

没有答案