Question

我想将模式（元数据）作为来自Spark数据框/数据集的参数传递。

我正在使用spark 2.x

代码：（示例）

//定义如下元数据。

val df_emp_metadata = StructType(
  List(
    StructField("emp_id", StringType,true),
    StructField("emp_hier_dt",DateType,true),
    StructField("dept_id",IntegerType,true)
  ))

  
val df_dept_metadata = StructType(
  List(
    StructField("dept_id", IntegerType,true),
    StructField("dept_name",StringType,true)
  ))

我想在执行Spark-Submit时将df_emp_metadata / df_dept_metadata作为参数传递，并在下面的模式中将其作为变量传递。

val meta_Data = arg(0)  //(df_emp_metadata or df_dept_metadata from Spark-Submit)

val readFileIn = spark.sqlContext.read
    .format("csv")
    .schema($meta_Data)
    .load("data/source_file.csv")

Spark不允许将数据框名称作为参数传递。

请建议在Spark / Scala编程中是否还有其他替代方法。

Answer 1

简单的if-else语句。您可以通过放置1和2来选择它。

val argument = arg(0)

val schema = if (argument == "1") df_emp_metadata else df_dept_metadata 

val readFileIn = spark.sqlContext.read
    .format("csv")
    .schema(schema)
    .load("data/source_file.csv")

我想将架构（元数据）作为参数从Spark数据框/数据集传递（数据框名称作为参数）

1 个答案: