如何使用sqoop工具执行增量加载

Question

实际上，我在Teradata表中有我的数据。我使用sqoop-import命令将teradata表数据平移到Hive中。

但是，我的teradata表将每天获取数据。因此，需要对新添加的数据进行sqoop，即从teradata到Hive表的增量数据。

任何人都可以建议我一些解决方案来实现这个目标......

Answer 1

如果您的表中有任何类似于row-id / timestamp的列，那么您可以使用：

--incremental [mode] --last-value [value] --check-column [col]

如果您有保存的工作，可以跳过--last-value，因为它会自动维护。

--incremental [mode]有两种模式。 lastmodified和append，您可以根据自己的要求使用任何一种。