Spark:如何读取Eclipse中自定义配置属性文件中的值

时间:2018-04-09 20:28:59

标签: scala apache-spark

我正在使用Eclipse开发我的spark应用程序,我想读取src / main / resources中可用的配置文件并获取程序中的值。下面是我的火花配置文件

sample.config

spark.tablename employee

以下是我的测试代码

package com.spark.config

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object SparkConfig {

  def main(args: Array[String]) {

    val conf = new SparkConf()
      .setAppName("sparkconftest")
      .setMaster("local")

    val sc = new SparkContext(conf)

    val tableName = sc.getConf.get("spark.tablename")

    print(tableName)

    sc.stop()

  }

}

执行时我收到以下错误

Exception in thread "main" java.util.NoSuchElementException: spark.tablename
    at org.apache.spark.SparkConf$$anonfun$get$1.apply(SparkConf.scala:245)
    at org.apache.spark.SparkConf$$anonfun$get$1.apply(SparkConf.scala:245)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.SparkConf.get(SparkConf.scala:245)
    at com.spark.config.SparkConfig$.main(SparkConfig.scala:16)

如何在Eclipse中使用Spark属性值?

0 个答案:

没有答案