Question

我遇到了一个问题，即火花我的执行者已经耗尽了permgen空间。我使用oozie的火花动作开始我的火花工作。如果我使用spark-submit手动启动它们，那么相同的作业会毫无问题地运行。我尝试过使用这些方法增加permgen空间

    1.  ---conf spark.executor.extraJavaOptions=-XX:MaxPermSize=2g
      as a command-line option in <spark-opts> in oozie's workflow.xml
    2. Increasing the oozie.launcher.mapreduce.child.java.opts in global <configuration> in oozie's workflow.xml
    3. Programmatically in spark code, when SparkConf is created, using sparkConf.set("spark.executor.extraJavaOptions","-XX:MaxPermSize=2g")

Spark UI执行程序指示已成功设置该属性。但是当启动执行程序时，除了传递的参数外，它们的默认值为256M，它出现在单引号中：

    {{JAVA_HOME}}/bin/java -server -XX:OnOutOfMemoryError='kill %p' -Xms6144m -Xmx6144m '-XX:MaxPermSize=2g' -Djava.io.tmpdir={{PWD}}/tmp '-Dspark.driver.port=45057' -Dspark.yarn.app.container.log.dir=<LOG_DIR> -XX:MaxPermSize=256m org.apache.spark.executor.CoarseGrainedExecutorBackend --driver-url spark://CoarseGrainedScheduler@10.0.0.124:45057 --executor-id 3 --hostname ip-10-0-0-126.us-west-2.compute.internal --cores 4 --app-id application_1471652816867_0103 --user-class-path file:$PWD/__app__.jar 1> <LOG_DIR>/stdout 2> <LOG_DIR>/stderr

有关如何增加PermGen空间的任何想法？我用hadoop 2.7.2运行spark 1.6.2。 Oozie版本是4.2

如何通过oozie增加火花作业的Permgen空间

0 个答案: