使用分类变量使用sklearn进行线性回归

时间:2014-10-05 02:30:58

标签: python scikit-learn linear-regression categorical-data

我正在尝试使用sk-learn在Python中运行通常的线性回归,但我有一些分类数据,我不知道如何处理,特别是因为我使用pandas {{1}导入数据我已经从以前的经历中了解到并且读到了熊猫和滑雪学习相处得很好(还)。

我的数据如下:

read.csv()

我想使用AtBat,Hits,League和EastDivision来预测薪水,其中League和EastDivision是绝对的。

如果我通过numpy' s Salary AtBat Hits League EastDivision 475 315 81 1 0 480 479 130 0 0 500 496 141 1 1 导入数据,我会得到一个numpy数组,理论上我可以使用sklearn,但是当我使用DictVectorizer时,我得到一个错误。我的代码是:

loadtext()

当我运行最后一行import numpy as np from sklearn.feature_extraction import DictVectorizer as DV nphitters=np.loadtxt('Hitters.csv',delimiter=',', skiprows=1) vec = DV( sparse = False ) catL=vec.fit_transform(nphitters[:,3:4]) 时出现错误,错误是

catL=vec.fit_transform(nphitters[:,3:4])

我不知道如何修复它,另一件事是,一旦我获得分类数据,我该如何运行回归?就像分类变量是另一个数字变量一样?

我发现了几个类似于我的问题,但没有一个问题对我有用。

3 个答案:

答案 0 :(得分:2)

看起来.fit_transform()期望dict.loadtxt()会创建一个numpy数组。

使用.to_dict()读取数据后,您可以使用pandas

答案 1 :(得分:2)

基本上发生的是你将一个1和0的向量传递给一个函数,该函数将获取键和值(如字典)并为你创建一个表

D = [{'foo': 1, 'bar': 2}, {'foo': 3, 'baz': 1}]

将成为

array([[ 2.,  0.,  1.],
       [ 0.,  1.,  3.]])

|bar|baz|foo  |<br>
|---|---|-----|<br>
| 2 | 0 | 1   |<br>
| 0 | 0 | 3   |<br>

阅读:http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.DictVectorizer.html

在你的情况下,数据已准备好进行线性回归,因为功能联盟和东部分区已经是假人。

答案 2 :(得分:0)

scikit-learn有两个新功能为你做这个

sklearn.preprocessing.LabelBinarizer
sklearn.preprocessing.LabelEncoder

如果您想在一行中处理多个值,

sklearn.preprocessing.MultiLabelBinarizer

例如:

array = [(dog, cat),(dog),(dog,fish)]
mb = MultiLabelBinarizer()
mb.fit_transform(array)

>> array([1, 0, 1, 0, 0, 0],
       [0, 1, 0, 0, 1, 1],
       [0, 0, 1, 1, 0, 0]])