我正在研究NN。我了解它是如何工作的粗略想法，但是仍然有一个不清楚的地方。为什么我们在衍生产品前面放减号？如果导数本身是负数，那不应该只是导数吗？我的意思是，如果点a的梯度已经为负，那么负号就不会出现。是不是请帮忙。
答案 0 :(得分：0)
反向传播中的导数回答了这个问题： 如果我增加体重（x），损失（y）将如何变化？
对于正导数-要减少损失，我们必须减少重量。为了减轻体重，我们只需要减去正值即可。
对于负导数-要减少损失，我们必须增加重量。为此，我们需要减去负值。
对于这两种情况，我们都需要减去与导数具有相同符号的值。
w1 = w0 - derivative
衍生产品也在回答问题会有多少损失会改变？ 但这并不是完全准确，因为它告诉我们多少，仅对于当前点的平坦斜率。为了更好地控制我们可以使用因素学习率
w1 = w0 - lr * derivative