Question

我最近使用Bag-of-Words分类器来制作96％术语的文档矩阵。然后我使用决策树在模型上输入单词输入来预测句子是否重要。该模型在测试数据集上表现非常好，但是当我使用样本外数据集时，它无法预测。相反，它会给出错误。

这是我在R

中制作的模型

library('caTools')
library('tm')
library('rpart')
library(rpart.plot)
library(ROCR)

data= read.csv('comments.csv', stringsAsFactors = FALSE)
corpus = Corpus(VectorSource(data$Word))

# Pre-process data
corpus <- tm_map(corpus, tolower)
corpus <- tm_map(corpus, stemDocument)

# Create matrix
dtm = DocumentTermMatrix(corpus)

# Remove sparse terms
#dtm = removeSparseTerms(dtm, 0.96)
# Create data frame
labeledTerms = as.data.frame(as.matrix(dtm))

# Add in the outcome variable
labeledTerms$IsImp = data$IsImp 

#Splitting into train and test data using caTools

set.seed(144)

spl = sample.split(labeledTerms$IsImp , 0.60)

train = subset(labeledTerms, spl == TRUE)
test = subset(labeledTerms, spl == FALSE)

#Build CART Model
CART = rpart(IsImp ~., data=train, method="class")

这对测试数据集完全正常，准确率约为83％。但是，当我使用此购物车模型预测样本数据集时，它会给我错误。

head(train)
terms A B C D E F..............(n terms)
Freqs 0 1 2 1 3 0..............(n terms)

head(test)
terms A B C D E F..............(n terms)
Freqs 0 0 1 1 1 0..............(n terms)


data_random = read.csv('comments_random.csv', stringsAsFactors = FALSE)

head(data_random)
terms A B D E F H..............(n terms)
Freqs 0 0 1 1 1 0..............(n terms)

我得到的错误是＆＃34;无法找到C＆＃34;在data_random中。我不知道应该做些什么来使这项工作。拉普拉斯是否在这里平滑？

Answer 1

问题在于C是训练集的一部分。因此，它被考虑用于该模型。这意味着要对数据集进行预测，需要有一个C值。

您的测试集没有C.您需要添加一个列，说明测试集中有0个C.

Answer 2

这个“错误”是非常好的。因为@Felix建议发生此错误只是因为您在预测数据集中缺少变量。因此，错误是相当多余的，并且纠正它与拉普拉斯校正等无关。您只需要确保训练数据集和预测数据集中具有相同的变量。这可以fx。完成：

names(trainingdata) %in% names(predictiondata)

......还有一些额外的代码

现在，我认为错误很有趣的原因是因为它触及了关于如何实际处理文本数据建模的基本讨论。因为如果您只是将预测数据中缺少的变量（即C）添加到零并用零填充单元格，您将得到一个完全冗余的变量，它只填充空间和内存。这意味着您也可以将变量从训练数据中取出而不是预测数据。

然而，解决问题的更好方法是基于训练数据和预测数据生成词袋，并且此后将数据分成训练集和预测集。这将解决您的问题，同时在理论上更“正确”，因为您可以在总样本总数（即文本）中生成您的词袋

这是我的看法。我希望它有所帮助！

在样本外数据集上使用词袋分类器

2 个答案: