是否可以即时生成Spark代码并执行？

Question

我正在尝试创建一个通用函数来使用databriks CSV READER读取csv文件。但是该选项不是必需的，它可能会因我输入的json配置文件而异。

示例1：

IfPreviousBlockLoadedDirective

示例2：

 "ReaderOption":{

                    "delimiter":";",
                    "header":"true",
                    "inferSchema":"true",
                    "schema":"""some custome schema.."""
            },

是否可以在运行时构造选项或整个read语句并在spark中运行？

如下所示，

   "ReaderOption":{

                        "delimiter":";",
                        "schema":"""some custome schema.."""
                },

Answer 1

def readCsvWithOptions（）：DataFrame = {

val选项：Map [String，String] = Map（“ inferSchema”->“ true”）   val readDF = jobContext.spark.read.format（“ com.databricks.spark.csv”）    .options（选项）   .load（inputPath）   读DF }

有一个带有键，值对的选项。