Hadoop配置对象ClassPath

时间:2017-07-16 17:51:36

标签: hadoop apache-spark

我想在FileSystem上运行的火花驱动程序中为我的hadoop HDFS获取一个YARN实例;为此,我首先需要获取一个配置对象,该对象最初读取我已经看到的core-default.xml已经在库jar(包含Configuration对象)中提供,然后它读取core-site.xml并按{{3它从classpath读取它们。因为当我使用此conf初始化文件系统时,它指向本地filesyem。所以我想我错过了一些东西,这可能是不正确的classpath。我不确定classpath的含义。因为它是一个spark程序,所以我会有spark-driver类路径和执行程序类路径。我不认为它指的是它们。 另外,我知道我可以简单地将core-site.xml文件作为资源添加到配置对象中,但是我需要在没有它的情况下执行它,因为我必须使用一些代码来创建一个以某种方式已经拥有的配置对象来自hadoop conf目录中的core-site.xml文件的键值对。(当然它正在读取“classpath”中的core-site.xml文件)。  有什么想法吗? 甚至一些在线资源解释了spark或hadoop的深入工作也会很好。

0 个答案:

没有答案
相关问题