使用Java在spark的DataFrameReader.format(&#34; <custom format =“”>&#34;)中引用自定义格式类型

时间:2017-03-22 15:21:10

标签: java apache-spark apache-spark-sql spark-dataframe

我想将自定义格式解析为Java中的Dataframe。我在Scala中找到了一些例子,但我是Spark编程的新手,并且对 Scala 知之甚少。我正在寻找的是在DataFrameReader的格式方法中添加自定义格式。

示例代码:

SparkSession spark = SparkSession.builder()
                                 .appName("myApp")
                                 .master("local")
                                 .getOrCreate();

Dataset<Row> df = spark.read()
    .format("*com.packagename.format*") // custom format file/class
    .option("data", "data") // hint to find data from the custom format
    //many other options    
    .load(*filePath*); //file Path of the file.

如何将 sparkcontext 绑定到我自己的包含格式定义的自定义类。还覆盖了load方法。 在java中有什么可能的方法吗?

使用java8和spark 2.1.0

0 个答案:

没有答案