我正在使用Spark 2.x与Hive连接,并且正在运行Spark Query:
spark.sql("""DROP TABLE IF EXISTS db_name.table_name""")
spark.sql("""Create TABLE IF NOT EXISTS db_name.table_name""")
如果该表不存在,则第一个查询将给出表不存在的异常。 如果Table存在,并且我首先运行第二个查询,那么它将引发Table已经存在异常。
这意味着“如果存在”和“如果不存在”条件不起作用。
我在某处读到它可能存在数据核依赖性问题。因此,以下是我用于数据核的依赖项:
<dependency>
<groupId>org.datanucleus</groupId>
<artifactId>datanucleus-rdbms</artifactId>
<version>3.2.9</version>
</dependency>
<dependency>
<groupId>org.datanucleus</groupId>
<artifactId>datanucleus-core</artifactId>
<version>3.2.10</version>
</dependency>
<dependency>
<groupId>org.datanucleus</groupId>
<artifactId>datanucleus-api-jdo</artifactId>
<version>3.2.6</version>
</dependency>