Apache-spark错误:将行写入sequenceFile时任务失败

时间:2018-09-12 10:37:09

标签: apache-spark sequencefile java-pair-rdd

我正在创建一个javaPairRDD并使用apache-spark将其保存到sequenceFileFormat中。 Spark版本是2.3。我在普通的4节点群集上运行此文件,并且路径也是普通的hdfs路径。我正在使用Spark代码(Java):

JavaSparkContext sc = new JavaSparkContext(conf);
JavaRDD <Integer> jr = sc.parallelize(Arrays.asList(1,2,3,4,5));
JavaPairRDD<NullWritable, Integer> outputData = jr.mapToPair( p -> { 
            return new Tuple2<>(NullWritable.get(), p);
        });
outputData.saveAsHadoopFile("hdfs://master:54310/user/output12",
                NullWritable.class, IntWritable.class, SequenceFileOutputFormat.class);
sc.close();

但是当我尝试运行代码时,出现以下异常

org.apache.spark.SparkException: Task failed while writing rows

0 个答案:

没有答案
相关问题