有什么方法可以使用spark读取任何文件格式?

时间:2018-12-21 03:57:52

标签: scala apache-spark

我很新。

我知道我可以使用以下方法读取csv文件。

val spark = SparkSession
  .builder()
  .appName("Spark SQL basic example")
  .config("spark.some.config.option", "some-value")
  .getOrCreate()

val df = spark
  .read
  .format("org.apache.spark.csv")
  .option("header", true)
  .csv("/path to csv file")

我想知道是否有任何方法可以在不考虑使用spark和Scala格式的情况下读取任何文件。

1 个答案:

答案 0 :(得分:1)

如果您参考spark API文档,则它具有一组标准的文件类型,可以作为选项提供。

DataReader API Doc