Question

我正在尝试在oozie中进行火花操作。我的Spark工作失败，并出现以下错误：

The DiskSpace quota of /user/nidhin is exceeded: quota = 10737418240 B = 10 GB but diskspace consumed = 10973426088 B = 10.22 GB

我在oozie工作流程中添加了staging dir属性，并指向HDFS目录（而不是home），该目录具有TB的空间，即使这样我也会遇到相同的错误。

<action name="CheckErrors" cred="hcat">
        <spark xmlns="uri:oozie:spark-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <master>yarn</master>
            <mode>cluster</mode>
            <name>JobName</name>
            <class>com.nidhin.util.CheckErrorsRaw
            </class>
            <jar>${processor_jar}</jar>
            <spark-opts>--queue=${queue_name}
                --num-executors 0
                --conf spark.dynamicAllocation.enabled=true
                --conf spark.shuffle.service.enabled=true
                --conf spark.yarn.stagingDir=${hdfs_data_base_dir}
            </spark-opts>
            <arg>${load_dt}</arg>
        </spark>
        <ok to="End" />
        <error to="Kill" />
    </action>

$ {hdfs_data_base_dir}是HDFS中的/ tenants / proj /目录，其中具有TB的空间。

当我查看spark jobtracker UI时，该属性会正确反映。

spark.yarn.stagingDir   hdfs://tenants/proj/

如何解决此错误并指向上面提到的stagingDir？

在oozie中运行火花操作时，DiskSpace配额异常

0 个答案: