Sqoop队列调度

时间:2018-03-13 10:06:31

标签: hadoop hive yarn sqoop

我试图运行以下sqoop导入

sqoop import \
        -Dmapred.child.java.opts="\-Djava.security.egd=file:///dev/urandom" \
        -Dmapred.job.queuename=batch \
        --connect $connection \
        --username $username \
        --password $password \
        --table $sourceTable \
        --columns "$columns"\
        --hive-import \
        --hive-overwrite \
        --hive-table $targetTable \
        --compression-codec org.apache.hadoop.io.compress.SnappyCodec \
        --hive-delims-replacement "SPECIAL" \
        --null-string '\\N' \
        --null-non-string '\\N' \
        -m 1

虽然我将queuename分配给批处理,但是当我运行sqoop命令时,它会将作业分配给' default'队列代替。

我在资源管理器上检查作业(node-master:8088)。

我的方法有什么问题?

1 个答案:

答案 0 :(得分:0)

mapred.job.queuename选项无效。相反,请使用mapreduce.job.queuenamemapred.job.queue.name(已弃用)