Hadoop MapReduce程序是否可以访问本地资源？

Question

Hadoop框架（或运行时）是否可以阻止（或约束）应用程序MapReduce程序访问本地文件系统等本地资源？

我想答案应该是真的，特别是当MapReduce程序正在运行集群时。

Answer 1

当然，MapReduce将在Map / Reduce阶段使用本地资源 Map的输出将存储在本地文件系统中，然后填充并进行排序 接下来，数据将输入Reduce阶段 您可以在Hadoop V1 mapred.local.dir

中指定存储Map by属性的中间结果的本地路径的路径

Hadoop V2，
 来自Docs，
财产：mapreduce.cluster.local.dir
价值：${hadoop.tmp.dir}/mapred/local
说明：The local directory where MapReduce stores intermediate data files. May be a comma-separated list of directories on different devices in order to spread disk i/o. Directories that do not exist are ignored.

希望它有所帮助！

Answer 2

安全（Kerberized）群集将在提交作业的用户下运行容器。然后，普通访问控制可以隔离此用户对本地资源的访问权。

非安全集群将容器作为NM运行（我说的是现代Yarn集群，而不是1.x版本）。

最新的Hadoop版本（2.6，即将发布）包含YARN-1964，它允许基于Docker的容器。它们是完全孤立的（Docker），但这是在2014-11-12上的2.6中提交的，因此约为2周成熟。你将生活在边缘。