如果存在则删除表/如果不存在则创建表不能与SparkSQL合作

时间:2018-09-25 07:34:27

标签: apache-spark hive datanucleus

我正在使用Spark 2.x与Hive连接,并且正在运行Spark Query:

spark.sql("""DROP TABLE IF EXISTS db_name.table_name""")
spark.sql("""Create TABLE IF NOT EXISTS db_name.table_name""")

如果该表不存在,则第一个查询将给出表不存在的异常。 如果Table存在,并且我首先运行第二个查询,那么它将引发Table已经存在异常。

这意味着“如果存在”和“如果不存在”条件不起作用。

我在某处读到它可能存在数据核依赖性问题。因此,以下是我用于数据核的依赖项:

<dependency>
            <groupId>org.datanucleus</groupId>
            <artifactId>datanucleus-rdbms</artifactId>
            <version>3.2.9</version>
        </dependency>
        <dependency>
            <groupId>org.datanucleus</groupId>
            <artifactId>datanucleus-core</artifactId>
            <version>3.2.10</version>
        </dependency>
        <dependency>
            <groupId>org.datanucleus</groupId>
            <artifactId>datanucleus-api-jdo</artifactId>
            <version>3.2.6</version>
        </dependency>

0 个答案:

没有答案