saveAstextFile是Windows上的Spark

Question

我知道这是不寻常的配置，但我在Windows上安装Spark只是为了测试

我可以轻松使用

val file_in = sc.textFile("UDP_file.txt")

在本地文件系统上。但是当我尝试使用

时

names.saveAsTextFile("file:///file_out.txt")

我收到错误：

14/08/21 13:06:12 ERROR FileOutputCommitter: Mkdirs failed to create file:/file_out.txt/_temporary/0

但实际创建了路径：

file_out.txt\_temporary\0\_temporary\attempt_201408211306_0000_m_000000_34

并使用文件part-00000列出目录。

是否可以在Windows上安装Spark上的use saveAsTextFile方法？

问候
的Pawel

Answer 1

  

而不是＆＃34; file：///file_out.txt"尝试＆＃34; file_out.txt＆＃34;。

它将创建一个文件夹（不是文件）＆＃34; file_out.txt＆＃34;，因此您可以指定＆＃34; file_out＆＃34;也作为名字。

在该文件夹中，您可以看到part-000 *文件。