找不到Spark临时表

Question

我尝试使用自定义输入运行pySpark作业，以进行测试。 该作业有三组输入，每组都从不同的Metastore数据库中的表中读取。

使用以下内容读取数据：hiveContext.table('myDb.myTable')

测试输入是三个文件。为了不改变任何原始代码，我将所有三个输入读入DataFrame s，并尝试使用myDF.registerTempTable('myDb.myTable')注册临时表。

问题是火花因org.apache.spark.sql.catalyst.analysis.NoSuchTableException而失败。

我也尝试过：

hiveContext.sql('create database if not exists myDb')
hiveContext.sql('use myDb')
myDF.registerTempTable('myTable')

但那也失败了。

知道无法找到桌子的原因吗？

使用Spark 1.6