我在哪里可以找到spark.hadoop.yarn。*属性？

Question

我正在尝试运行spark（1.6.0）应用程序，该应用程序使用com.databricks.spark.csv jar从eclipse在yarn客户端模式下加载csv文件。它在扔     CSVRelatio$annonfunc$func not found例外。通过设置

解决了这个问题

spark.hadoop.yarn.application.classpath

SparkConf中的

属性。

我的问题是spark.hadoop.yarn.application.classpath属性不是      在任何火花官方文件中列出。那我在哪里可以找到所有这些      属性？我知道这是愚蠢的问题，但有许多初学者      参考官方      文件（https://spark.apache.org/docs/1.6.0/configuration.html）和他们      完全没有意识到这些属性。

Answer 1

没有列出，因为没有Spark属性。仅使用spark.前缀，因此Spark会识别，应解析这些前缀，并将其放入org.apache.hadoop.conf.Configuration。

在哪里查找文档？您应该检查Hadoop文档以获取相应的组件。例如，对于YARN：https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

你也不应该认为Spark有自己的类路径相关属性，包括：

• spark.jars
• spark.packages
• spark.driver.extraClassPath / spark.executor.extraClassPath
• ....