我们如何检查HDFS文件夹中是否有可用的avro文件？

Question

我在HDFS文件夹/ user / data / output_files / file_2017-10-18中有一些avro文件

scala> val hdfsLoc ="/user/data/output_files/file_2017-10-18/*.avro"
hdfsLoc: String = /user/data/output_files/file_2017-10-18/*.avro

scala>  val conf = new Configuration()

scala>   val fs  = FileSystem.get(conf)

scala> val result = fs.exists(new Path(hdfsLoc))
result: Boolean = false

上面的代码将结果显示为false。它说HDFS文件夹里面没有avro文件

如果我提供avro文件的全名，则返回true

scala>  val hdfsLoc ="/user/data/output_files/file_2017-10-18/part-r-00000-ed937f14-c7d1-480a-9c79-1cda3db4e6ce.avro"
hdfsLoc: String = /user/data/output_files/file_2017-10-18/part-r-00000-ed937f14-c7d1-480a-9c79-1cda3db4e6ce.avro

scala> val result = fs.exists(new Path(hdfsLoc))
result: Boolean = true

如何确保HDFS文件夹中有一个或多个avro文件？

Answer 1

似乎FileSystem不支持通配符。解决方法应该如下，虽然它看起来很讨厌。

 val list = fs.listFiles(new Path("/test/"), true)

 var result=false

 while(list.hasNext()){
   if(list.next().getPath.getName.endsWith(".avro"))
     result=true
 }

Answer 2

FileSystem API有一个名为globStatus的不同功能，允许您使用通配符。

返回Array[org.apache.hadoop.fs.FileStatus]

val fs = FileSystem.get(Sc.hadoopConfiguration)

fs.globStatus(new Path("/user/data/output_files/file_2017-10-18/*.avro")).length match {
    case x: Int if (x>0) => doSomethingWhenAvroFileExists()
    case _ => doSomethingWhenNoAvroFilesExist()
}