在最初从在线教程中了解它们后，我已经实现了很少的神经网络，并且所有这些都提到在正则化期间，偏差单位没有被考虑在内，但如果它们被正规化则不会产生任何重大差异。
我不明白：
答案 0 :(得分：2)
从理论上讲，如果你将偏见正规化，那么你将从网络功能的方式中消除一些灵活性。允许偏差在幅度上变大可以允许神经元更快地饱和而不会响应等于训练数据中的噪声的异常值。同时，将一个较大的权重乘以一个非常非典型的输入值，这个输入值将扩大您的网络符合该异常值的范围，并且网络也不会推广到数据。
您的教程可能会进行练习，展示权重的正规化如何显着缩小培训准确性与测试/验证准确性之间的差距。然而，偏见正规化的问题在于缺乏经验证据表明它会改变网络性能，即使理论上 吸引人的理论与实验证据之间存在的差距是你在神经网络研究中会遇到的更多次。这意味着还有更多的研究要做！
总之，在这一点上是否规范偏见归结为个人偏好，因为与未经规范的偏见相比，没有看到显着的改善。请记住，这是一种源于经验观察的启发式方法，但仍缺乏令人信服的理论基础。