我想知道在哪里可以找到NLTK停用词支持的语言(及其键)的完整列表。
我在https://pypi.org/project/stop-words/中找到了一个列表,但其中没有包含每个国家/地区的密钥。因此,不清楚是否可以仅通过stopwords.words("Bulgarian")
来检索列表。实际上,这将引发错误。
我检查了NLTK站点,发现有4个与“停用词”匹配的文档,但都没有描述。 https://www.nltk.org/search.html?q=stopwords&check_keywords=yes&area=default
他们的书中没有说什么: http://www.nltk.org/book/ch02.html#stopwords_index_term
那么,您知道在哪里可以找到密钥列表吗?
答案 0 :(得分:4)
os.listdir('/root/nltk_data/corpora/stopwords/')
['hungarian',
'swedish',
'kazakh',
'norwegian',
'finnish',
'arabic',
'indonesian',
'portuguese',
'turkish',
'azerbaijani',
'slovene',
'spanish',
'danish',
'nepali',
'romanian',
'greek',
'dutch',
'README',
'tajik',
'german',
'english',
'russian',
'french',
'italian']
答案 1 :(得分:2)
使用以下命令导入停用词时
from nltk.corpos import stopwords
english_stopwords = stopwords.words('english')
您正在根据文件ID(语言)检索停用词。为了查看所有可用的停用词语言,您可以使用以下方法检索文件名列表:
from nltk.corpos import stopwords
print(stopwords.fileids())
对于nltk v3.4.5,它将返回23种语言:
['arabic',
'azerbaijani',
'danish',
'dutch',
'english',
'finnish',
'french',
'german',
'greek',
'hungarian',
'indonesian',
'italian',
'kazakh',
'nepali',
'norwegian',
'portuguese',
'romanian',
'russian',
'slovene',
'spanish',
'swedish',
'tajik',
'turkish']
答案 2 :(得分:1)
首先检查您是否下载了nltk
个软件包。
如果没有,您可以使用以下下载它:
import nltk
nltk.download()
此后,您可以在下面的路径中找到停用词语言文件。
C:/Users/username/AppData/Roming/nltk_data/corpora/stopwords
它支持21种语言(几天前我安装了nltk
,所以该数字必须是最新的)。您可以在
nltk.corpus.stopwords.words('langauage')