AWS Glue数据目录,临时表和Apache Spark createOrReplaceTempView

时间:2018-12-11 05:58:37

标签: amazon-web-services apache-spark amazon-emr aws-glue aws-glue-data-catalog

根据AWS Glue数据目录文档https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html

  

不支持临时表。

我不清楚还是在Temporary tables下我还可以考虑可以通过Temporary views方法在Apache Spark中创建的DataFrame.createOrReplaceTempView吗?

因此,换句话说-我无法对AWS Glue和AWS Glue数据目录使用DataFrame.createOrReplaceTempView方法,对吗?我现在只能使用AWS Glue和AWS Glue数据目录来处理永久表/视图,并且必须将AWS EMR集群用于全功能Apache Spark功能?

1 个答案:

答案 0 :(得分:1)

您可以在AWS Glue中使用DataFrame.createOrReplaceTempView()。您必须使用toDF()将动态框架转换为数据框架。

但是这些视图将保留在当前胶水作业实例的范围内,并且其他胶水作业或同一作业或雅典娜的其他实例将无法访问这些视图