Keras中的输入和输出尺寸误差

时间:2018-01-29 18:14:35

标签: python machine-learning keras

我目前正在处理带有二进制分类的流失管理问题。

我在拟合模型时遇到错误。输入/输出中似乎有一些东西正在抛弃我无法捕捉到的东西。

这是代码(df包含我正在创建矢量的数据框):

#Delete unimportant columns.
del df['RowNumber']
del df['CustomerId']
del df['Surname']

然后,我必须转换两个分类变量:

#Converting and creating dummy variables for categorical variables
df["Gender"] = df["Gender"].astype('category')
df["Geography"] = df["Geography"].astype('category')
df['Gender'] = pd.get_dummies(df['Gender'])
df['Geography'] = pd.get_dummies(df['Geography'])

y = df.iloc[:, -1] #Label variable
X = df.iloc[:, :10] #Features

将数据集拆分为测试和培训:

# Splitting the dataset into the Training set and Test set
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2)

接下来,我正在缩放变量:

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train) 
X_test = sc.transform(X_test)
print(X_train.shape) #(8000, 10)
print(X_test.shape) #(2000, 10)
print(y_train.shape)#(8000,)
print(y_test.shape)#(2000,)

构建网络:

model = models.Sequential()
model.add(layers.Dense(32, activation='relu', input_shape=(8000,)))
model.add(layers.Dense(1, activation='sigmoid'))
# Compiling Neural Network
model.compile(optimizer = 'adam', loss = 'binary_crossentropy', metrics = ['accuracy'])
#Fitting our model
model.fit(X_train, y_train, batch_size = 10, epochs = 10)

# Predicting the Test set results
y_pred = classifier.predict(X_test)
y_pred = (y_pred > 0.5)

# Creating the Confusion Matrix
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, y_pred)

我得到的具体错误代码是:

ValueError:检查输入时出错:期望dense_47_input有形状(None,8)但是有形状的数组(8000,10)

任何有助于解决这个问题的帮助都会很棒!

编辑:model.compile之前的模型摘要: enter image description here

Edit2:编译后的模型摘要: enter image description here

1 个答案:

答案 0 :(得分:3)

我认为你需要纠正这个问题:

model.add(layers.Dense(32, activation='relu', input_shape=(10,)))

10是您使用的功能数量。 Keras将自动获取批次/数据集中的行数。

编辑说明

from keras import models
from keras import layers

model = models.Sequential()
model.add(layers.Dense(32, input_shape=(10,)))
model.add(layers.Dense(1))

此处,创建的第一个图层仅接受尺寸为10的2D张量(零尺寸,批次尺寸未指定,因此可接受任何值)。

因此,该层只能连接到需要32维向量作为其输入的上游。使用Keras时,您不必担心兼容性,因为您添加到模型中的图层是动态构建的,以匹配传入图层的形状。

第二层没有收到输入形状参数 - 而是自动将其输入形状推断为前一层的输出形状。

解码模型中的参数值:

假设这是我的模特:

from keras import models
from keras import layers

model = models.Sequential()
model.add(layers.Dense(32, input_shape=(2,)))
model.add(layers.Dense(1))
model.compile(optimizer = 'adam', loss = 'binary_crossentropy', metrics = ['accuracy'])
print model.summary()

这是模型摘要:

_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
dense_1 (Dense)              (None, 32)                96
_________________________________________________________________
dense_2 (Dense)              (None, 1)                 33
=================================================================
Total params: 129
Trainable params: 129
Non-trainable params: 0
_________________________________________________________________

对于密集层,我们需要计算:

output = dot(W, input) + b

output = relu(dot(W, input) + b) #relu here is the activation function

在该表达式中,W和b是张量,它们是图层的属性。它们被称为"权重"或"可训练参数"层的(分别是内核和偏置属性)。这些权重包含网络从暴露于训练数据中学到的信息。

对于第1层(参数= 96)= Hidden_​​units * Dimension_of_input_data + bias_value

96 = 32 (Hidden Units) * 2 (Data Dimension) + 32 (Bias Value Same as Hidden Units)

对于第2层(参数= 33)= Hidden_​​units * Dimension_of_data + bias_value

33 = 1 (Hidden Units) * 32 (Data Dimension) + 1 (Bias Value Same as Hidden Units)

Total Params = 96+33 = 129

希望这会有所帮助:)

解释来源:Keras Documentation

相关问题