如何使用sqoop将数据从数据库导入多个hdfs文件？

Question

我正在使用sqoop将数据从oracle导入到avro格式的hdfs。我希望通过写入多个hdfs文件（每个映射器实例一个）来并行此过程，因为记录顺序对我来说并不重要。是否可以选择在sqoop中执行此操作？

Answer 1

您需要使用--as-avrodatafile指定文件格式，并使用-m 4指定映射器的数量。

Documentation