我有一个带有隐藏层的典型NN多分类器（10个类）。培训和测试成本并没有像增加附加层那样少，但是在两个网络中分类器的准确性是相同的（91％的培训，88％的测试）。
测试数据与火车数据是分开的。
停止培训后，成本值过高（0.5培训，0.7测试）会带来什么后果？
尽管第一个网络的成本很高，为什么精度会相同？
很高兴在需要时提供更多信息。
答案 0 :(得分：1)
好吧，您的问题隐含地需要回答许多其他问题，正如您稍后会看到的：
成本值过高（0.5培训， 0.7测试）培训何时停止？
首先，确定某个成本值是否高是主观的，即没有实际阈值，但是，成本值是模型中过度拟合/欠拟合的良好指标。因此，最好按以下方式比较训练集和测试集之间的成本：
现在忍受我，过度拟合/欠拟合也与NN中的隐藏层和隐藏单元有关！ （请参阅下文）。
第二，隐藏层数和隐藏单元数直接影响成本值，因为它改变了训练的复杂性，如下所述（，来自Jeff Heaton的Java神经网络简介（第二版））：
隐藏层数：
0 仅能表示线性可分离函数或决策。
1 可以近似任何包含连续映射的函数 从一个有限的空间到另一个有限的空间。
2 可以代表任意精度的任意决策边界 具有合理的激活功能，可以近似任何平滑 映射到任何准确性。
另一方面，根据经验，在隐藏层中使用过多的神经元会导致拟合不足，而在隐藏层中使用过多的神经元可能会导致拟合过度：
隐藏神经元的数量应该在输入层的大小和输出层的大小之间。
隐藏神经元的数量应为输入层大小的2/3加上输出层大小的大小。
隐藏神经元的数量应小于输入层大小的两倍。
总而言之，这是训练集和测试集的成本值与NN中隐藏层大小之间的关系。
因此后果是过度拟合/拟合不足。
尽管最初的成本很高，但为什么精度会相同 网络？
这有点奇怪，因为它是成本与准确性之间的反比关系，即成本越低，准确性越高。
但是，目前尚不清楚您的意思是什么精度，因为正如我所看到的，您正在测试的训练集上的精度是没有意义的，但是再次查看您的结果，它们反映了成本与精度之间的反比关系，如上所述。 ：
0.5 training cost -> 91% training accuracy
0.7 test cost -> 88% test accuracy
如果您仍然有任何疑问，请以精美的摘要形式提供准确度和成本的详细结果以及神经网络和数据集的体系结构。