Question

我正在使用文件流编写Spark STreaming应用程序...

val probeFileLines = ssc.fileStream[LongWritable, Text, TextInputFormat]("/data-sources/DXE_Ver/1.4/MTN_Abuja/DXE/20160221/HTTP", filterF, false) //.persist(StorageLevel.MEMORY_AND_DISK_SER)

但是我收到文件/ IO..for

的异常错误

16/09/07 10:20:30 WARN FileInputDStream: Error finding new files
java.io.FileNotFoundException: /mapr/cellos-mapr/data-sources/DXE_Ver/1.4/MTN_Abuja/DXE/20160221/HTTP
        at com.mapr.fs.MapRFileSystem.listMapRStatus(MapRFileSystem.java:1486)
        at com.mapr.fs.MapRFileSystem.listStatus(MapRFileSystem.java:1523)
    at com.mapr.fs.MapRFileSystem.listStatus(MapRFileSystem.java:86)

虽然我的群集中存在该目录。

我正在使用spark submit

运行我的工作

spark-submit --class "StreamingEngineSt"  target/scala-2.11/sprkhbase_2.11-1.0.2.jar

Answer 1

这可能与文件权限或所有权有关（可能需要hdfs用户）。

集群上的FileStream给了我一个例外

1 个答案: