NLTK的RAM用完了

时间:2016-08-07 07:34:07

标签: python nlp nltk

我是NLP和Python的初学者。我使用了多个分类器。使用的分类器是

NaiveBayes_classifier = nltk.NaiveBayesClassifier.train(trainingFeats)
MNB_classifier = SklearnClassifier(MultinomialNB()).train(trainingFeats)
BernoulliNB_classifier = SklearnClassifier(BernoulliNB()).train(trainingFeats)
LogisticRegression_classifier = SklearnClassifier(LogisticRegression()).train(trainingFeats)
SGDClassifier_classifier = SklearnClassifier(SGDClassifier()).train(trainingFeats)
LinearSVC_classifier = SklearnClassifier(LinearSVC()).train(trainingFeats)

所有这些都来自标准的NLTK和sklearn包。现在,当我训练所有分类器时,我的RAM耗尽。我的服务器目前支持2gb ram,但这还不够。该计划因内存不足而被杀害。有没有办法减少消耗的内存量?或者有没有办法让我可以将训练好的分类器存储在磁盘上并运行它而不将其完全加载到ram上?

0 个答案:

没有答案