＆＃39;前馈网络＆＃39;之间的区别是什么？和＆＃39;完全连接的网络＆＃39;？

Question

有时我会对这两个词混淆。所以，我要求澄清一下。 有人说'前馈网络＆＃39;是一个典型的神经网络。 如果那时，＆＃39;前馈网络＆＃39;意味着更大的范围，包括完全连接的网络＆＃39;？ 如果那时，RNN或CNN被包含在前馈网络中。也？ 我想它不是.. 我希望有一个清晰的描述。谢谢。

Answer 1

前馈网络是没有周期的网络，参考https://en.wikipedia.org/wiki/Feedforward_neural_network

CNN是前馈网络，RNN不是。实际上RNN也没有周期，只是从某个角度来看，你可以想象RNN有一个理解概念的周期。

一些先进的网络包含卷积层和完全连接的层，在完全连接的层中，神经元与透水层中的所有神经元有连接。在卷积层中，每个神经元仅连接到前一层中的一些神经元（取决于内核大小）。

Answer 2

他们确实是独立的财产：

• 前馈网络是没有循环连接的网络，也就是说，它与循环网络（RNN）相反。这是一个重要的区别，因为在前馈网络中，梯度是通过backpropagation（即链规则）明确定义和计算的，而在循环网络中，梯度计算可能需要无限次的操作，所以你通常必须将其限制为固定的步数，并且在任何情况下都更昂贵（见backpropagation through time）。
• 完全连接的网络，或者更恰当地说，网络中的完全连接的层是这样的，即每个输入神经元连接到下一层中的每个神经元。例如，这与卷积层形成对比，其中每个输出神经元依赖于输入神经元的子集。

经典multilayer perceptron是由完全连接的图层组成的前馈网络。最常见的＆＃34;卷积网络＆＃34;也是前馈的，由许多卷积和汇集层组成，但也有一些完全连接的层。像LSTMs这样的循环单元可能通常不被认为是完全连接的，因为它的内部架构有点复杂和具体，但你可以说它们有点像，因为每个输出最终都依赖于在某种程度上的每一项投入然而，它们不是前馈，因为它们呈现经常性连接。