密集层重量形状

Question

在具有以下部分架构的模型中：

我们让我们说Dense1和Dense2层（完全连接）。

我需要得到我已经训练过的D​​ense2模型的权重，但是我得到的这个图层的形状是（128,2048）这让我感到困惑，因为这层的理论解释是它应该提供单个值我的阵列（这里：2048）。我将Dense2的重量打印为：

0.16.0

我不应该看到建筑的形状吗？ （无，2048）

Answer 1

这里第二密集层有2048个神经元，每个神经元都与前一层输出相连。因此，对于单个神经元，将有128个先前的层神经元贡献。

y = w1*x1 + w2*x2 + .......... + w128*x128

总共（128 * 2048）= 262144个参数，2048个偏置矢量共264192（262144 + 2048）个参数。

由于

Answer 2

不是每个神经元都有一个重量，而是每个神经元的连接。如果你完全连接128个神经元与2048，你得到128 x 2048权重。

这就是为什么你的形状为（128,2048）。