有更有效的方法吗? 我的代码读取文本文件并提取所有名词。
import nltk
File = open(fileName) #open file
lines = File.read() #read all lines
sentences = nltk.sent_tokenize(lines) #tokenize sentences
nouns = [] #empty to array to hold all nouns
for sentence in sentences:
for word,pos in nltk.pos_tag(nltk.word_tokenize(str(sentence))):
if (pos == 'NN' or pos == 'NNP' or pos == 'NNS' or pos == 'NNPS'):
nouns.append(word)
如何降低此代码的时间复杂度?有没有办法避免使用嵌套的for循环?
提前致谢!
答案 0 :(得分:14)
如果您对NLTK
以外的选项持开放态度,请查看TextBlob
。它轻松地提取所有名词和名词短语:
>>> from textblob import TextBlob
>>> txt = """Natural language processing (NLP) is a field of computer science, artificial intelligence, and computational linguistics concerned with the inter
actions between computers and human (natural) languages."""
>>> blob = TextBlob(txt)
>>> print(blob.noun_phrases)
[u'natural language processing', 'nlp', u'computer science', u'artificial intelligence', u'computational linguistics']
答案 1 :(得分:11)
import nltk
lines = 'lines is some string of words'
# function to test if something is a noun
is_noun = lambda pos: pos[:2] == 'NN'
# do the nlp stuff
tokenized = nltk.word_tokenize(lines)
nouns = [word for (word, pos) in nltk.pos_tag(tokenized) if is_noun(pos)]
print nouns
>>> ['lines', 'string', 'words']
有用的提示:通常情况下,列表推导是一种更快的构建列表的方法,而不是使用.insert()或append()方法在列表中添加元素,而不是在' for'中。循环。
答案 2 :(得分:4)
您可以使用nltk
,Textblob
,SpaCy
或其他许多库中的任何一个来获得良好的结果。这些库都可以完成工作,但是效率不同。
import nltk
from textblob import TextBlob
import spacy
nlp = spacy.load('en')
nlp1 = spacy.load('en_core_web_lg')
txt = """Natural language processing (NLP) is a field of computer science, artificial intelligence, and computational linguistics concerned with the interactions between computers and human (natural) languages."""
在我的Windows 10 2核,4处理器,8GB ram i5 hp 笔记本电脑上,在jupyter笔记本电脑中,我进行了一些比较,结果如下。
对于TextBlob:
%%time
print([w for (w, pos) in TextBlob(txt).pos_tags if pos[0] == 'N'])
输出为
>>> ['language', 'processing', 'NLP', 'field', 'computer', 'science', 'intelligence', 'linguistics', 'inter', 'actions', 'computers', 'languages']
Wall time: 8.01 ms #average over 20 iterations
对于nltk:
%%time
print([word for (word, pos) in nltk.pos_tag(nltk.word_tokenize(txt)) if pos[0] == 'N'])
输出为
>>> ['language', 'processing', 'NLP', 'field', 'computer', 'science', 'intelligence', 'linguistics', 'inter', 'actions', 'computers', 'languages']
Wall time: 7.09 ms #average over 20 iterations
出于spacy:
%%time
print([ent.text for ent in nlp(txt) if ent.pos_ == 'NOUN'])
输出为
>>> ['language', 'processing', 'field', 'computer', 'science', 'intelligence', 'linguistics', 'inter', 'actions', 'computers', 'languages']
Wall time: 30.19 ms #average over 20 iterations
看来nltk
和TextBlob
相当快,这是可以预期的,因为关于输入文本txt
的其他内容没有存储。 Spacy要慢得多。还有一件事。 SpaCy
错过了名词NLP
,而nltk
和TextBlob
得到了名词。除非要从输入nltk
中提取其他内容,否则我会为TextBlob
或txt
开枪。
可以快速入门spacy
here。
查阅有关TextBlob
here的一些基础知识。
查阅nltk
HowTos here
答案 3 :(得分:2)
我不是NLP专家,但我认为你已经非常接近了,而且这里可能没有比这些外循环中的二次时间复杂度更好的方法。
NLTK的最新版本具有内置功能,可以执行您手动执行的操作nltk.tag.pos_tag_sents,并返回标记词列表的列表。
答案 4 :(得分:2)
您的代码没有冗余:您只需阅读一次文件并访问每个句子,每个标记的单词,只需一次。无论你如何编写代码(例如,使用理解),你只会隐藏嵌套循环,而不是跳过任何处理。
唯一的改进潜力在于其空间复杂性:您可以一次性读取它,而不是一次读取整个文件。但是既然你需要一次处理整个句子,那就不像一次读取和处理一行那么简单;所以我不会打扰,除非你的文件是整整千兆字节;对于短文件,它不会有任何区别。
简而言之,你的循环很好。你的代码中有一两件事你可以清理(例如匹配POS标签的if
子句),但它不会在效率方面改变任何东西。
答案 5 :(得分:0)
import nltk
lines = 'lines is some string of words'
tokenized = nltk.word_tokenize(lines)
nouns = [word for (word, pos) in nltk.pos_tag(tokenized) if(pos[:2] == 'NN')]
print (nouns)
只是简化了一点。
答案 6 :(得分:0)
如果得到 未找到资源标记。 请使用NLTK下载器获取资源: 错误
只要做
import nltk
nltk.download('punkt')