我可以将卷积神经网络视为完全连通的神经网络

Question

例如，有一个3乘3的图像，

和具有两个2x2滤波器的卷积神经网络卷积图像

最后，输出维数是2x2x2

我可以按以下方式查看上述程序吗？

因为2x2过滤器，在整个图像上滑动后，我得到4个小图像

并使用这4个小图像作为完全连接的神经网络的输入

最后，我还可以得到8个输出

我真的不知道CNN中的反向传播，所以我试图从经典的完全连接的神经网络中理解它。

通过输入一个小图像，我们可以更新完全连接的神经网络中的权重一次，是否与更新CNN中的过滤器权重相同？

我认为是对的吗？

Answer 1

简而言之，是的。您可以将CNN视为（以及其他可能的解释）：

• 具有卷积运算的神经网络和直接为其计算的梯度（典型方法）

• 权重共享的完全连接网络，为简单起见，我们假设输入为3的1d，并且您拥有大小为2的内核，所以它看起来像

  [X1 X2 X3] conv [w1 w2] = [X1w1 + X2w2 X2w1 + X3w3]

  相当于具有权重vij的完全连接网络，意思是“第i个输入神经元和第j个隐藏之间的权重”

  display

  因此，如果您放置X1 X2 h1 = X1v11+X2v21+X3v31 X3 h2 = X1v12+X2v22+X3v32 和v31=v12=0，v11=v22，您将获得完全相同的网络。通过平等，我的意思是字面意思是相同的变量（因此术语权重分享）。

• 收集小型神经网络（同样，权重分享），它们连接到不同的小补丁输入（您提议）。所以你的整个模型看起来像：

  v21=v32

这些只是同一个对象的三个视图，在这两种情况下，如果计算偏导数（渐变），最终会得到完全相同的方程。