当列不是增量时,使用sqoop进行增量导入

时间:2017-07-27 05:20:02

标签: hadoop hdfs sqoop

如果我有一个包含以下字段的表格 SSN | First Name | Last Name | City | ZipCode
主键为SSN,此表没有其他代理主键。

在第1天 - 该表有100个插入,并且正在使用sqoop将增量数据从RDBMS导入HDFS --check-column SSN
在第2天 - 该表再插入了90条记录,并修改了约30条现有记录。

现在sqoop如何执行增量更新,因为--check-column "SSN"虽然是一个很好的主键,但它不是增量的。
1)那么sqoop如何在该表上执行增量更新 2)在第2天修改的记录如何。在上述情况下,sqoop如何知道修改后的记录。

0 个答案:

没有答案
相关问题