Hadoop - 当有火花作业RUNNING时，Sqoop作业停留在ACCEPTED上

Question

目前我有一个总是需要运行的火花作业（java）。它不需要太多资源。但是，每当我运行sqoop作业（MapReduce）时，作业都会被卡住为ACCEPTED：等待AM容器被分配，启动并注册RM。

我检查了Ambari，调度的spark配置是FAIR。为了进行测试，我尝试运行2个相同的spark作业并且没有遇到任何问题（状态在两者上都是RUNNING）。应该有足够的内核和内存来运行map reduce作业。

Spark Submit命令：

@IBOutlet Label2

我的sqoop命令，我添加了内存限制，但没有帮助：

/usr/hdp/current/spark-client/bin/spark-submit \
  --class com.some.App \
  --master yarn-cluster \
  --deploy-mode cluster \
  --num-executors 1 \
  /path/to/file.jar "some.server:6667" "Some_App" "Some_App_Parser" "some.server"
jdbc:jtds:sqlserver://some.server:1433/HL7_Metadata
&; done

以下是一些供参考的图片：

Answer 1

我在Hortonworks上找到了帮助。

我不得不将yarn.scheduler.capacity.maximum-am-resource-percent从0.2更改为0.4。

在此之后，我可以同时运行sqoop map reduce作业和我的spark应用程序。

回复https://community.hortonworks.com/questions/147101/hadoop-sqoop-job-stuck-on-accepted-when-there-is-a.html

的链接