如何在spark-submit中传递本地文件作为输入

Question

如何在spark-submit中传递本地文件作为输入，我试过如下：

Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: file:/home/inputfile , expected: hdfs://hadoop:54310

错误：

marker.addListener('click', function() {});

还尝试了没有前缀“file：//”的路径，但没有运气。它在日食中工作正常。

谢谢。！

Answer 1

如果您希望每个执行程序都可以访问这些文件，则需要使用选项files。例如：

spark-submit --files file1,file2,file3