我的MapReduce代码

时间:2017-02-12 13:56:05

标签: java hadoop mapreduce mapper

我试图将记录分解为基于非字母数字字符的单词,计算每个单词中的第一个字母,并获得每个单词中第一个字母的总出现次数。下面是我试图执行的Mapper类逻辑。

    public void map(LongWritable key, Text value, Context ctx) {
    String line = value.toString();
    String[] split = line.split("\\W+");
    String firstChar;
    for(String words: split) {
        firstChar = String.valueOf(words.charAt(0));
        try {
            ctx.write(new Text(firstChar), new IntWritable(1));
        } catch (IOException | InterruptedException e) {
            e.printStackTrace();
        }
    }
}

例外:

Error: java.lang.StringIndexOutOfBoundsException: String index out of range: 0
    at java.lang.String.charAt(String.java:658)
    at com.hadoopexp.mapper.MapperClass.map(MapperClass.java:17)
    at com.hadoopexp.mapper.MapperClass.map(MapperClass.java:1)

但是我在这行逻辑中获得StringIndexOutOfBounds异常:

firstChar = String.valueOf(words.charAt(0));

我在输入文件中放了一些空行,看它是否有效。 (如下所示)

Liverpool
Manchester


London

Toronto ? ?? !!12 32

任何人都可以帮我解决如何修复逻辑问题。任何帮助都非常感谢。

1 个答案:

答案 0 :(得分:0)

拆分空字符串将返回包含空字符串的单个元素的数组。我只是明确地检查它:

for(String words: split) {
    if (!words.isEmpty()) { // Here!
        firstChar = String.valueOf(words.charAt(0));
        try {
            ctx.write(new Text(firstChar), new IntWritable(1));
        } catch (IOException | InterruptedException e) {
            e.printStackTrace();
        }
    }
}