Question

我使用ImageDataGenerator，fit_generator和evaluate_generator遇到了一个非常奇怪的keras模型。

我正在创建这样的模型：

classes = <list of classes>
num_classes = len(classes)

pretrained_model = Sequential()
pretrained_model.add(ResNet50(include_top=False, weights='imagenet', pooling='avg'))
pretrained_model.add(Dense(num_classes, activation='softmax'))

pretrained_model.layers[0].trainable = False

pretrained_model.compile(
    optimizer='adam',
    loss='categorical_crossentropy',
    metrics=['accuracy']
)

我正在训练它：

idg_final = ImageDataGenerator(
    data_format='channels_last',
    rescale=1./255,
    width_shift_range = 0.2,
    height_shift_range = 0.2,
    rotation_range=15,
)

traing_gen = idg_final.flow_from_directory('./train', classes=classes, target_size=(224, 224), class_mode='categorical')

pretrained_model.fit_generator(traing_gen, epochs=1, verbose=1)

fit_generator打印loss: 1.0297 - acc: 0.7546。

然后，我试图在训练的完全相同的数据上评估模型。

debug_gen = idg_final.flow_from_directory('./train', target_size=(224, 224), class_mode='categorical', classes=classes, shuffle=True)
print(pretrained_model.evaluate_generator(debug_gen, steps=100))

打印[10.278913383483888, 0.0]。

为什么在相同的确切数据上准确度如此不同？

编辑：我还想指出有时精度高于0.0。例如，当我使用经过五个时期训练的模型时，evaluate_accuracy会返回6％的准确度。

编辑2：根据下面的答案，我确保训练更多的纪元，并且评估的ImageDataGenerator没有随机的轮班和轮换。我在训练期间仍然获得非常高的准确度，在同一数据集的评估过程中精度极低。

我正在训练

idg_final = ImageDataGenerator(
    data_format='channels_last',
    rescale=1./255,
    width_shift_range = 0.2,
    height_shift_range = 0.2,
    rotation_range=15,
)

traing_gen = idg_final.flow_from_directory('./train', classes=classes, target_size=(224, 224), class_mode='categorical')                  

pretrained_model.fit_generator(traing_gen, epochs=10, verbose=1)

打印以下内容：

Found 9850 images belonging to 4251 classes.
Epoch 1/10
308/308 [==============================] - 3985s 13s/step - loss: 8.9218 - acc: 0.0860
Epoch 2/10
308/308 [==============================] - 3555s 12s/step - loss: 3.2710 - acc: 0.3403
Epoch 3/10
308/308 [==============================] - 3594s 12s/step - loss: 1.8597 - acc: 0.5836
Epoch 4/10
308/308 [==============================] - 3656s 12s/step - loss: 1.2712 - acc: 0.7058
Epoch 5/10
308/308 [==============================] - 3667s 12s/step - loss: 0.9556 - acc: 0.7795
Epoch 6/10
308/308 [==============================] - 3689s 12s/step - loss: 0.7665 - acc: 0.8207
Epoch 7/10
308/308 [==============================] - 3693s 12s/step - loss: 0.6581 - acc: 0.8498
Epoch 8/10
308/308 [==============================] - 3618s 12s/step - loss: 0.5874 - acc: 0.8636
Epoch 9/10
308/308 [==============================] - 3823s 12s/step - loss: 0.5144 - acc: 0.8797
Epoch 10/10
308/308 [==============================] - 4334s 14s/step - loss: 0.4835 - acc: 0.8854

我正在完全相同的数据集

上进行评估

idg_debug = ImageDataGenerator(
    data_format='channels_last',
    rescale=1./255,
)

debug_gen = idg_debug.flow_from_directory('./train', target_size=(224, 224), class_mode='categorical', classes=classes)
print(pretrained_model.evaluate_generator(debug_gen))

打印出以下非常低的准确度：[10.743386410747084, 0.0001015228426395939]

完整代码为here。

Answer 1

我怀疑的两件事。

1 - 不，您的数据不一样。

您在ImageDataGenerator中使用了三种类型的扩充，似乎没有设置随机种子。因此，测试数据不等于训练数据。

而且看起来，你也只训练了一个时代，这很少（除非你真的有大量的数据，但是因为你正在使用增强，也许这不是案子）。（PS：我在steps_per_epoch电话中没有看到fit_generator参数...）

所以，如果你想看到好的结果，这里有一些解决方案：

从此测试的生成器中删除增强参数（训练和测试数据） - 这意味着，删除width_shift_range，height_shift_range和rotation_range;
如果没有，那么训练真的很长，足以让你的模型真正适应各种增强图像（因为看起来，五个时代似乎仍然太少）;
或设置随机种子并保证测试数据等于训练数据（seed中的参数flow_from_directory）

2 - （如果您对Keras /编程非常陌生，可能会发生这种情况，如果情况不是这样，请忽略）您可能正在运行在测试时再次定义模型的代码。

如果您再次运行定义模型的代码，它将使用随机权重替换您之前的所有训练。

3 - 由于我们没有提出建议：

也许保存重量而不是保存模型。我通常这样做而不是保存模型。（出于某种原因，我不明白，我从来没有能够加载这样的模型）

def createModel():
    ....

model = createModel()
...
model.fit_generator(....)

np.save('model_weights.npy',model.get_weights())

model = createModel()
model.set_weights(np.load('model_weights.npy'))
...
model.evaluate_generator(...)

<强>提示：

它与错误无关，但要确保基础模型层真的是第0层。如果我记得很清楚，顺序模型有一个输入层，你实际上应该让第1层无法处理。

使用model.summary()确认无法处理的参数数量。

使用evaluate_generator时，准确率为0％，但在使用相同数据进行培训时准确度为75％ - 这是怎么回事？

1 个答案: