使用激活功能时我们如何知道神经元是否被激活

Question

我需要澄清何时确切地说激活功能被激活。激活函数的工作是引入非线性，正确。只是将给定的输入缩放到限制范围内吗？

Answer 1

在人工神经网络中，给定一个输入或一组输入，节点的激活函数定义该节点的输出。可以将标准计算机芯片电路视为激活功能的数字网络，根据输入的不同，激活功能可以是“ ON”（1）或“ OFF”（0）。

这取决于您在说什么激活功能。但通常，它们用于使输出结果在回归中更清晰，或者用于缩放输入，以便在分类中更轻松地选择它们之间的位。

刷新：

https://medium.com/the-theory-of-everything/understanding-activation-functions-in-neural-networks-9491262884e0

https://towardsdatascience.com/activation-functions-neural-networks-1cbd9f8d91d6

Answer 2

  

我需要澄清何时确切地说激活功能被激活。

我们没有。这不是布尔值，而是“活动”或“非活动”。您可能在考虑神经元是否会发射信号（通过其轴突发送电信号）。

感知器（软件神经网络的“神经元”）不一定以这种方式工作。几个激活函数 do 具有硬二进制信号（-1对1，或0对1），但是大多数是连续函数。

相反，将其视为“注意力功能”，即“该神经元应如何响应输入而兴奋？”的评估。例如，ReLU（y = max(x, 0)）的翻译为“如果很无聊，我不在乎怎么无聊；将其称为0并继续前进。” Sigmoid和tanh更具区别性：

• 在-2以下.........算了
• -2到2 ...是的，让我们关注专业人士和反对者
• 高于2 ..........我的主意-这真是太酷了... ...不在乎您的其他销售目标，您已经拥有A +。

激活功能是一种归一化或缩放过滤器。它们帮助下一层有效地专注于区分未决案件；一个好的激活函数通常在其输入的中间范围（“模型不确定”）中具有一个有用的梯度（例如1.0）。他们阻止狂热的输入（例如+1000）来控制下一层的“对话”。