文本分类 - 使用词干分析器降低结果?

时间:2014-01-22 21:47:38

标签: nlp sentiment-analysis stemming text-classification

有关于阿拉伯语情感分析的this文章。

在第5页的开头,它说:

  

“实验还表明,在特征提取和分类之前的词干几乎总是会降低结果”。

稍后在同一页面中,他们声明:

  

“...而阿拉伯语灯光词干用于词干”

嗯,我认为在文本分类之前,始终使用词干分析器/词形变换器,为什么他说它会降低结果?

谢谢:)

1 个答案:

答案 0 :(得分:5)

我不懂阿拉伯语,它可能在很多方面具体,我的回答是英语。

  我认为在文本分类之前总是使用词干分析器/词形变换器,为什么他说它会降低结果?

不,不是,完全取决于任务。如果你想提取一些文本的一般概念,那么词干/ lematization是一个很好的步骤。但是在对短块的分析中,每个词都是有价值的,干扰只会破坏它的意义。特别是 - 在情绪分析中,扼杀可能会破坏这个词的情绪。

相关问题