什么是神经网络中的“层”

Question

下面我画了一个典型的前馈神经网络：

现在我的问题是，就语言而言，什么是层？

每个单独的流程（矩形）都可以被视为一个层吗？或者是一个图层组合单行的流程图？我有时将Multiply + Add视为单个图层，将非线性函数（relu）视为单独的图层。但我真的很感激一个明确的答案。

我经常在网上视频中找到人们关于神经网络的信息，教师自己在一个例子中混合了层数。

Answer 1

使用您的图表，每一行基本上都是一个图层。但正如@beaker所说，它不是可视化神经网络的最佳方式。

从here拍摄图像有助于明确这一点。

Layer是一个通用术语，适用于在神经网络中的特定深度一起操作的“节点”集合。

输入图层包含原始数据（您可以将每个变量视为“节点”）。

隐藏图层是黑魔法在神经网络中发生的地方。每个层都试图通过最小化错误/成本函数来学习关于数据的不同方面。理解这些图层的最直观方式是在“图像识别”（例如脸部）的背景下。第一层可以学习边缘检测，第二层可以检测眼睛，第三层可以检测到鼻子等。这不是正在发生的事情，但是想法是将问题分解为不同抽象层可以拼凑在一起的组件，就像我们的自己的大脑工作（因此称为“神经网络”）。

输出层是最简单的，通常由单个输出组成，用于分类问题。虽然它是单个“节点”，但它仍然被认为是神经网络中的层，因为它可能包含多个节点。

Answer 2

神经网络的核心构建模块是层，它是一个数据处理模块， 您可以将其视为数据过滤器。输入一些数据，然后以更有用的方式输出 形成。具体来说，图层从提供给它们的数据中提取表示形式-希望 对于当前问题更有意义的表述。大多数 深度学习包括将实现形式的简单层链接在一起 渐进式数据蒸馏。深度学习模型就像一个用于数据处理的筛子， 由一系列不断完善的数据过滤器（各层）组成。

Answer 3

Goodfellow，2016 年在其著作 "Deep Learning" 中将网络定义为一个函数组合，其中每个函数都是一个层：

然而，从最初的问题来看，我不会考虑可以向量化（乘法和加偏置）的东西作为单独的层，尽管 ReLU 或其他激活函数最常被视为层，这也符合 Goodfellow 给出的定义。