_spark_metadata导致问题

Question

我在Scala中使用Spark，并且我有一个目录，其中有多个文件。

在此目录中，我有Spark生成的Parquet文件和Spark Streaming生成的其他文件。

Spark流式传输将生成目录 _spark_metadata 。

我面临的问题是，当我用Spark（sparksession.read.load）读取目录时，它仅读取Spark流式传输生成的数据，就像其他数据不存在一样。

有人知道如何解决此问题，我认为应该有一个属性来强制Spark忽略 spark_metadata 目录。

谢谢您的帮助

Answer 1

我有同样的问题（Spark 2.4.0），我知道的唯一方法是使用遮罩/图案加载文件，类似这样

sparksession.read.format("parquet").load("/path/*.parquet")

据我所知有no way to ignore this directory。如果存在，Spark会考虑。