试图创建一个“趋势词/短语”引擎，但需要过滤掉常用词

Question

我想解析进入我系统的字符串，并在单独的表中保留每个单词的字数。问题是许多常见的单词，如'the'，'at'等将包含在内，不应该包含。我不想手工创建字典。任何人都知道我可以匹配的常用词的体面词典不包括在内？感谢。

Answer 1

您特指的是“停用词”列表。

http://en.wikipedia.org/wiki/Stop_words

你可以在这里找到一个

http://truereader.com/manuals/onix/stopwords1.html