Question

我在哪里可以找到已经运行的java mapreduce作业的作业配置文件，例如被覆盖的默认设置和其他作业特定设置。我正在使用hadoop 2.6.0。我假设将为每个使用其用户设置运行的作业提供作业配置文件。很抱歉，如果重复此问题，则无法找到确切的答案。在我的yarn-site.xml或mapred-site.xml中没有与此相关的内容。

Answer 1

在mapred-site.xml中，有配置参数：yarn.app.mapreduce.am.staging-dir。

此参数的说明是：

提交作业时使用的登台目录。

默认情况下，设置为：

/tmp/hadoop-yarn/staging

此路径转换为：

{Value of config parameter `yarn.app.mapreduce.am.staging-dir`} + Path.SEPARATOR + user + Path.SEPARATOR + STAGING_CONSTANT

例如在我的mapred-site.xml中，此值设置为：

<property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>/user</value>
 </property>

所以这条路径转换成：

/user/{user}/{STAGING_CONSTANT}

是：

/user/mballur/.staging/ => Where user -> mballur and STAGING_CONSTANT -> .staging

在此文件夹中，您将看到与工作相关的设置，当您的工作正在运行。

例如如果我的应用程序ID是：application_1450100618247_0018，那么暂存文件夹将是：

/user/mballur/.staging/job_1450100618247_0018/

在此文件夹中，您可以看到以下文件：

job.jar
job.split
job.xml
job_1450100618247_0018_1.jhist
job_1450100618247_0018_1_conf.xml

此处job.xml包含有关您的工作的配置信息。 但是，当作业完成（成功或失败）时，作业的登台目录将被删除。

Job History Rest API ：

如果您已启用历史记录服务器，则可以查看到目前为止执行的所有作业的历史记录。对于例如点击此处的链接：https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/HistoryServerRest.html#Job_Conf_API

使用以下REST查询，您可以获得作业的配置：

GET http://<history server http address:port>/ws/v1/history/mapreduce/jobs/{job_id}/conf

Mapreduce作业配置文件位置

1 个答案: