Spark2 Java数据集Sql

时间:2016-12-07 20:22:53

标签: java apache-spark-sql spark-dataframe apache-spark-2.0

尝试在Spark2中运行JavaSparkSQLExample。使用spark-core_2.11-2.0.2和spark-sql_2.11-2.0.2。有一个错误:The method createGlobalTempView(String) is undefined for the type Dataset<Row>.

实际上latest API docs没有定义此方法。 Also the programming Guide有这个。任何人都有这方面的线索。

另外,我们如何构建会话 - 因为你无法与.config("spark.some.config.option", "some-value")一起运行。

SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration

1 个答案:

答案 0 :(得分:0)

  • 根据您的评论,您正在查看Spark nightly build的编程指南。它基于主分支,包含尚未发布的代码。最有可能的是,它将登陆Spark 2.2.0。另一方面,您的工件和API文档适用于最新官方可用的Spark版本 - 2.0.2。 createGlobalTempView()仅出现在2.1中(即将推出但未提供)。因此,您不能将createGlobalTempView()与Spark 2.0.2(工件的版本)一起使用。要查看Spark 2.0.2中可用的内容,请参阅此guide

  • 每个Spark应用程序都需要Master URL。您可以将其作为参数传递给spark-submit或直接在代码中设置:

    val spark = SparkSession.builder() .appName("App name") .master("local[4]") .getOrCreate()

相关问题