使用nltk从文本文件中提取所有名词

时间:2015-11-07 20:54:19

标签: python nltk

有更有效的方法吗? 我的代码读取文本文件并提取所有名词。

import nltk

File = open(fileName) #open file
lines = File.read() #read all lines
sentences = nltk.sent_tokenize(lines) #tokenize sentences
nouns = [] #empty to array to hold all nouns

for sentence in sentences:
     for word,pos in nltk.pos_tag(nltk.word_tokenize(str(sentence))):
         if (pos == 'NN' or pos == 'NNP' or pos == 'NNS' or pos == 'NNPS'):
             nouns.append(word)

如何降低此代码的时间复杂度?有没有办法避免使用嵌套的for循环?

提前致谢!

7 个答案:

答案 0 :(得分:14)

如果您对NLTK以外的选项持开放态度,请查看TextBlob。它轻松地提取所有名词和名词短语:

>>> from textblob import TextBlob
>>> txt = """Natural language processing (NLP) is a field of computer science, artificial intelligence, and computational linguistics concerned with the inter
actions between computers and human (natural) languages."""
>>> blob = TextBlob(txt)
>>> print(blob.noun_phrases)
[u'natural language processing', 'nlp', u'computer science', u'artificial intelligence', u'computational linguistics']

答案 1 :(得分:11)

import nltk

lines = 'lines is some string of words'
# function to test if something is a noun
is_noun = lambda pos: pos[:2] == 'NN'
# do the nlp stuff
tokenized = nltk.word_tokenize(lines)
nouns = [word for (word, pos) in nltk.pos_tag(tokenized) if is_noun(pos)] 

print nouns
>>> ['lines', 'string', 'words']

有用的提示:通常情况下,列表推导是一种更快的构建列表的方法,而不是使用.insert()或append()方法在列表中添加元素,而不是在' for'中。循环。

答案 2 :(得分:4)

您可以使用nltkTextblobSpaCy或其他许多库中的任何一个来获得良好的结果。这些库都可以完成工作,但是效率不同。

import nltk
from textblob import TextBlob
import spacy
nlp = spacy.load('en')
nlp1 = spacy.load('en_core_web_lg')

txt = """Natural language processing (NLP) is a field of computer science, artificial intelligence, and computational linguistics concerned with the interactions between computers and human (natural) languages."""

在我的Windows 10 2核,4处理器,8GB ram i5 hp 笔记本电脑上,在jupyter笔记本电脑中,我进行了一些比较,结果如下。

对于TextBlob:

%%time
print([w for (w, pos) in TextBlob(txt).pos_tags if pos[0] == 'N'])

输出为

>>> ['language', 'processing', 'NLP', 'field', 'computer', 'science', 'intelligence', 'linguistics', 'inter', 'actions', 'computers', 'languages']
    Wall time: 8.01 ms #average over 20 iterations

对于nltk:

%%time
print([word for (word, pos) in nltk.pos_tag(nltk.word_tokenize(txt)) if pos[0] == 'N'])

输出为

>>> ['language', 'processing', 'NLP', 'field', 'computer', 'science', 'intelligence', 'linguistics', 'inter', 'actions', 'computers', 'languages']
    Wall time: 7.09 ms #average over 20 iterations

出于spacy:

%%time
print([ent.text for ent in nlp(txt) if ent.pos_ == 'NOUN'])

输出为

>>> ['language', 'processing', 'field', 'computer', 'science', 'intelligence', 'linguistics', 'inter', 'actions', 'computers', 'languages']
    Wall time: 30.19 ms #average over 20 iterations

看来nltkTextBlob相当快,这是可以预期的,因为关于输入文本txt的其他内容没有存储。 Spacy要慢得多。还有一件事。 SpaCy错过了名词NLP,而nltkTextBlob得到了名词。除非要从输入nltk中提取其他内容,否则我会为TextBlobtxt开枪。


可以快速入门spacy here
查阅有关TextBlob here的一些基础知识。
查阅nltk HowTos here

答案 3 :(得分:2)

我不是NLP专家,但我认为你已经非常接近了,而且这里可能没有比这些外循环中的二次时间复杂度更好的方法。

NLTK的最新版本具有内置功能,可以执行您手动执行的操作nltk.tag.pos_tag_sents,并返回标记词列表的列表。

答案 4 :(得分:2)

您的代码没有冗余:您只需阅读一次文件并访问每个句子,每个标记的单词,只需一次。无论你如何编写代码(例如,使用理解),你只会隐藏嵌套循环,而不是跳过任何处理。

唯一的改进潜力在于其空间复杂性:您可以一次性读取它,而不是一次读取整个文件。但是既然你需要一次处理整个句子,那就不像一次读取和处理一行那么简单;所以我不会打扰,除非你的文件是整整千兆字节;对于短文件,它不会有任何区别。

简而言之,你的循环很好。你的代码中有一两件事你可以清理(例如匹配POS标签的if子句),但它不会在效率方面改变任何东西。

答案 5 :(得分:0)

import nltk
lines = 'lines is some string of words'
tokenized = nltk.word_tokenize(lines)
nouns = [word for (word, pos) in nltk.pos_tag(tokenized) if(pos[:2] == 'NN')]
print (nouns)

只是简化了一点。

答案 6 :(得分:0)

如果得到 未找到资源标记。 请使用NLTK下载器获取资源: 错误

只要做

import nltk
nltk.download('punkt')