Sqoop导入可将特定列中具有空值的记录路由到另一个表中

Question

我正在尝试在SQOOP导入时将特定列中具有空值的记录移至特定表，并将非空记录移至另一个表。尝试在goolge上进行探索，但是--null-string和--null-non-String参数之外没有太多东西了，但是只会替换为已定义的字符...

我可以考虑以下处理方式

1. 一旦导入到蜂巢中，运行dedup过滤掉记录，但这是在最坏的情况下要尝试的方法。

2. 在sqoop级别本身处理（对此一无所知）

这里的任何专家都可以帮助我解决上述问题吗？

ENV详细信息：它是一个普通的Apache hadoop集群。 sqoop版本1.4.6

Answer 1

我们可以尝试将PubSubIO.read选项与--query命令一起使用

sqoop-import

并且对于非空条件也以类似的方式。

这里将有2个sqoop导入作业。