Spark目录元数据存储在哪里？

Question

一直在试图准确了解Spark的目录API如何存储元数据。

我找到了一些资源，但没有答案：

• https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-Catalog.html
• https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-CatalogImpl.html
• https://spark.apache.org/docs/2.3.0/api/java/org/apache/spark/sql/catalog/Catalog.html

我看到一些教程将Hive Metastore的存在视为理所当然。

• Hive Metastore是否可能包含在Spark发行版中？
• Spark集群可能是短暂的，但是Hive元存储显然需要长期存在的

除了目录功能外，编写DF时的分区和排序功能似乎还取决于Hive ...因此，“每个人”在谈论持久化DF的关键Spark功能时似乎都认为Hive是理所当然的。

Answer 1

当Spark随附hive-site.xml时，它会注意到Hive MetaStore，它通常放在$SPARK_HOME/conf下。每当创建enableHiveSupport()时使用SparkSession方法时，Spark都会查找在哪里以及如何 与Hive Metastore建立联系。因此，Spark没有明确存储配置单元设置。