DNN准确度在培训中途下降

Question

我正在训练一个带有10维隐藏层的简单2层隐藏网。精度提高到第14纪元，当它下降到一半时。是什么导致这种情况，我该如何解决？我当时认为它可能与消失的渐变有关，但它是如此小的网，我不确定...

我在下面的图中显示了DNN中深度和宽度之间的关系。当它失败时我似乎没有一个模式。

depth-vs-width graph

model = Sequential() model.add(Dense(output_dim=10) model.add(Activation('relu')) model.add(Dense(output_dim=10) model.add(Activation('relu')) model.add(Dense(output_dim=10) model.add(Activation('softmax')) model.compile(loss='categorical_crossentropy', optimizer='sgd',metrics=['accuracy']) model.fit(mnist.train.images, mnist.train.labels, nb_epoch=100, batch_size=32, validation_data=(mnist.test.images, mnist.test`.labels), callbacks=callback_list)

我使用keras作为代码

的框架

final Intent shareIntent= new Intent(Intent.ACTION_SENDTO, Uri.parse("mailto:"));
shareIntent.putExtra(Intent.EXTRA_SUBJECT, "The Subject");
shareIntent.putExtra(
Intent.EXTRA_TEXT,
Html.fromHtml(new StringBuilder()
    .append("<p><b>Some Content</b></p>")
    .append("<small><p>More content</p></small>")
    .toString())
);